[論文レビュー] Detecting Modularity in Deep Neural Networks.

Shlomi Hod, Stephen Casper+4 more|arXiv (Cornell University)|Oct 17, 2021

Neural Networks and Applications参考文献 35被引用数 5

ひとこと要約

本稿では、重みと活性化に基づくグラフ表現の統計的分析を通じて、ニューロン群の重要性と一貫性を定量化することにより、深層ニューラルネットワークにおけるモジュラリティを検出するフレームワークを提案する。これらのグラフのスペクトルクラスタリングにより、実行時データがなくても、機能的に重要でかつ入力特徴に一貫して反応するニューロンのパーティションが明らかとなり、内部構造に内在するモジュラリティが示された。

ABSTRACT

A neural network is modular to the extent that parts of its computational graph (i.e. structure) can be represented as performing some comprehensible subtask relevant to the overall task (i.e. functionality). Are modern deep neural networks modular? How can this be quantified? In this paper, we consider the problem of assessing the modularity exhibited by a partitioning of a network's neurons. We propose two proxies for this: importance, which reflects how crucial sets of neurons are to network performance; and coherence, which reflects how consistently their neurons associate with features of the inputs. To measure these proxies, we develop a set of statistical methods based on techniques conventionally used to interpret individual neurons. We apply the proxies to partitionings generated by spectrally clustering a graph representation of the network's neurons with edges determined either by network weights or correlations of activations. We show that these partitionings, even ones based only on weights (i.e. strictly from non-runtime analysis), reveal groups of neurons that are important and coherent. These results suggest that graph-based partitioning can reveal modularity and help us understand how deep neural networks function.

研究の動機と目的

• 現代の深層ニューラルネットワークが内部構造においてモジュラリティを示すかどうかを特定すること。
• 入力特徴にどの程度重要かつ一貫して反応するニューロン群であるかを評価することで、モジュラリティを定量化すること。
• 推論データが不要な実行時以外の分析手法を開発し、ニューラルネットワークアーキテクチャ内での意味のあるサブタスクを同定すること。
• 重みまたは活性化相関に基づくグラフによるニューロンのパーティショニングが、機能的に一貫性があり重要なグループをどのように明らかにするかを評価すること。

提案手法

• ニューロン間のエッジをネットワークの重みまたは活性化相関によって定義する計算グラフを構築する。
• 構造的類似性に基づいてグラフをニューロンのグループにパーティショニングするため、スペクトルクラスタリングを適用する。
• 個々のニューロン解釈手法に適応した統計的手法を用いて、各ニューロングループの重要性を測定する。
• 特定の入力特徴に対して、グループ内のニューロンがどの程度一貫して反応するかを評価することで、一貫性を測定する。
• 推論データが不要な非実行時分析（重みのみ）を用いてモジュラリティを評価し、推論データなしで解釈可能であることを実現する。
• 重要性と一貫性の指標を組み合わせ、理解しやすいサブタスクを実行するニューロングループを同定する。

実験結果

リサーチクエスチョン

• RQ1 現代の深層ニューラルネットワークの内部構造において、どの程度モジュラリティが見られるか？
• RQ2 ネットワークの重みといった非実行時情報のみを用いても、モジュラリティを検出できるか？
• RQ3 グラフパーティショニングにより同定されたニューロン群は、機能的に一貫性があり重要であるか？
• RQ4 重みベースと活性化ベースのグラフ表現は、モジュラリティをどの程度効果的に明らかにするか？

主な発見

• 重みベースのグラフのスペクトルクラスタリングにより同定されたニューロン群は、ネットワーク全体のパフォーマンスに対して顕著な重要性を示した。
• 同様に、これらのグループは高い一貫性を示し、サンプル間で特定の入力特徴と一貫して関連していることがわかった。
• 活性化データがなくても、重みベースのパーティショニングにより、機能的に意味があり一貫性のあるニューロンクラスタが明らかになった。
• 重要性と一貫性の組み合わせにより、全体のネットワーク目的に関連する解釈可能なサブタスクを実行するグループが同定された。