[論文レビュー] Pruned Neural Networks are Surprisingly Modular

Daniel Filan, Shlomi Hod+3 more|arXiv (Cornell University)|Mar 10, 2020

Neural Networks and Applications参考文献 11被引用数 5

ひとこと要約

この論文は、剪定されたニューラルネットワークにおけるモジュラリティのグラフ理論的測定法を導入し、内部結合が強く外部結合が弱いニューロンクラスタをモジュールとして定義する。訓練済みで剪定されたMLPは、ランダムなスパースネットワークよりも顕著に高いモジュラリティを示すことが判明した—特にドロップアウトを用いて訓練した場合に顕著であり、モジュールは機能的 Importance と依存関係を示しており、勾配降下法と剪定がモジュラ構造の学習を促進している可能性を示唆している。

ABSTRACT

The learned weights of a neural network are often considered devoid of scrutable internal structure. To discern structure in these weights, we introduce a measurable notion of modularity for multi-layer perceptrons (MLPs), and investigate the modular structure of MLPs trained on datasets of small images. Our notion of modularity comes from the graph clustering literature: a "module" is a set of neurons with strong internal connectivity but weak external connectivity. We find that training and weight pruning produces MLPs that are more modular than randomly initialized ones, and often significantly more modular than random MLPs with the same (sparse) distribution of weights. Interestingly, they are much more modular when trained with dropout. We also present exploratory analyses of the importance of different modules for performance and how modules depend on each other. Understanding the modular structure of neural networks, when such structure exists, will hopefully render their inner workings more interpretable to engineers. Note that this paper has been superceded by "Clusterability in Neural Networks", arxiv:2103.03386 and "Quantifying Local Specialization in Deep Neural Networks", arxiv:2110.08058!

研究の動機と目的

• ニューロンクラスタの内部および外部結合に基づき、マルチレイヤーパーセプトロン（MLP）における測定可能でグラフ理論的なモジュラリティの概念を構築すること。
• 訓練済みで剪定されたニューラルネットワークが、ランダムなスパースネットワークよりも学習された重みにモジュラ構造を示すかどうかを調査すること。
• 剪定されたMLPで同定されたモジュールの機能的 Importance と相互依存性を調査すること。
• ドロップアウトのような訓練ルーチンが、ニューラルネットワークにおけるモジュラリティの出現に与える影響を評価すること。

提案手法

• ニューロンを頂点とし、隣接層間の絶対的な重みを辺の重みとする重み付き無向グラフとしてニューラルネットワークを表現する。
• モジュールへのパーティションの質を評価するために正規化カット指標を用い、値が高くなるほどモジュラリティが良いことを示す。
• グラフのラプラシアン行列と固有ベクトルに基づき、スペクトルクラスタリングを用いてネットワークをモジュールに分解する。
• 同じスパarsityを持つランダムパーティションとの比較により、学習されたパーティションの正規化カットを測定することでモジュラリティを測定する。
• 単一のモジュールを無効化（重みをゼロ化）し、精度の低下を測定することでモジュールの重要性を評価する。
• 片方のモジュールを無効化した状態で、もう一方のモジュールが有効または無効である場合の精度損傷を測定することで、モジュールの依存関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 画像データセットで訓練された剪定されたニューラルネットワークは、学習された重みに測定可能なモジュラ構造を示すか？
• RQ2 同じ重み分布を持つランダムなスパースネットワークと比較して、訓練済みで剪定されたMLPのモジュラリティはどの程度高いか？
• RQ3 訓練時にドロップアウトを使用することで、ニューラルネットワークにおけるモジュラ構造の出現が促進されるか？
• RQ4 どのモジュールが機能的に重要であり、性能面での相互依存関係はどのように現れるか？
• RQ5 モジュラリティは訓練中に増加するのか？また、学習精度と相関関係があるか？

主な発見

• スモール画像データセットで訓練された剪定されたニューラルネットワークは、同じスパarsityを持つランダムなスパースネットワークよりも顕著にモジュラーであり、そのモジュラリティは約99.7％のランダムネットワークを上回っている。
• ドロップアウトを用いて訓練されたMLPは、ドロップアウトなしで訓練されたものよりも顕著に高いモジュラリティを示しており、ドロップアウトがモジュラーな重み構造を促進していることが示唆される。
• 精度が向上する間、訓練中にモジュラリティが増加するが、ランダムラベルで訓練する場合には低いままであるため、モジュラリティが本物の学習と関連していると考えられる。
• 特定のモジュールは機能的に重要であり、それらを無効化すると顕著な精度低下（例：一部のケースで最大16.6ポイント）が生じ、その影響はしばしば統計的に有意である。
• 一部のモジュールには強い条件的依存関係が見られる：あるモジュールを無効化すると、もう一方が有効な場合に性能低下が顕著になる。これは相互依存性を示している。
• モジュール間の依存関係構造は非対称的かつ非自明であり、あるモジュールが他のモジュールが存在する場合にのみ重要であることがあり、機能的スペシャリゼーションを示唆している。