[論文レビュー] Neural Networks are Surprisingly Modular

Daniel Filan, Shlomi Hod+3 more|arXiv (Cornell University)|Mar 10, 2020

Neural Networks and Applications被引用数 10

ひとこと要約

この論文は、多層パーセプトロン（MLP）におけるモジュラリティのグラフクラスタリングに基づく測定法を導入し、ドロップアウトで訓練されたMLPや prune されたMLPが、ランダムネットワークと比べて顕著に高いモジュラリティを示すことを示している。これらの発見は、ニューラルネットワークの重みが構造的でモジュラーな組織を形成することを示唆し、解釈可能性を向上させる。

ABSTRACT

The learned weights of a neural network are often considered devoid of scrutable internal structure. To discern structure in these weights, we introduce a measurable notion of modularity for multi-layer perceptrons (MLPs), and investigate the modular structure of MLPs trained on datasets of small images. Our notion of modularity comes from the graph clustering literature: a module is a set of neurons with strong internal connectivity but weak external connectivity. We find that training and weight pruning produces MLPs that are more modular than randomly initialized ones, and often significantly more modular than random MLPs with the same (sparse) distribution of weights. Interestingly, they are much more modular when trained with dropout. We also present exploratory analyses of the importance of different modules for performance and how modules depend on each other. Understanding the modular structure of neural networks, when such structure exists, will hopefully render their inner workings more interpretable to engineers. Note that this paper has been superceded by Clusterability in Neural Networks, arXiv:2103.03386!

研究の動機と目的

• ニューラルネットワークの重みにおける内部構造的組織を捉える、測定可能なモジュラリティの概念を構築すること。
• 訓練済みのニューラルネットワークが、学習された重みにおいてモジュラーな組織を示すかどうかを調査すること。
• 同じスパarsityを持つランダムに初期化されたネットワークやランダムに重み付けされたネットワークと比較して、訓練済みMLPのモジュラリティを評価すること。
• ドロップアウトのような訓練手法が、モジュラリティの出現に与える影響を調査すること。
• 特定されたモジュールの機能的重要性と相互依存性を、ネットワーク性能に与える影響を分析すること。

提案手法

• グラフクラスタリングを用いたモジュラリティの定義：ニューロンをノードとし、ニューロン間の重みをエッジとする。
• モジュラリティを、ニューロンのグループ（モジュール）内の内部結合の強さと外部結合の強さの比として測定する。
• 小さな画像データセットで訓練されたMLPにこの測定法を適用し、構造的組織を評価する。
• 同じスパarsityを持つ、ランダムに初期化された、訓練済みの、prune された、ランダムに重み付けされたMLPの各構成でモジュラリティを比較する。
• ドロップアウトを訓練中に適用し、モジュラリティの出現に与える影響を評価する。
• アブレーションと接続性解析を通じて、モジュールの重要性と相互依存性についての探索的分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みのニューラルネットワークは、学習された重みにおいて構造的でモジュラーな組織を発展させるか？
• RQ2 同じスパarsityを持つランダムに初期化されたネットワークやランダムに重み付けされたネットワークと比較して、訓練済みMLPのモジュラリティはどのように異なるか？
• RQ3 ドロップアウトを訓練中に使用することで、ニューラルネットワークの重みのモジュラリティが向上するか？
• RQ4 どのモジュールがネットワーク性能に最も寄与しているのか、そしてそれらのモジュールどうしがどのように相互に依存しているか？
• RQ5 ニューラルネットワークのモジュラー構造を活用することで、その内部機構の解釈可能性を向上させることができるか？

主な発見

• 訓練済みおよびpruneされたMLPは、ランダムに初期化されたネットワークと比べて顕著に高いモジュラリティを示す。
• 同じスパースな重み分布を持つランダムなMLPと比較して、訓練済みMLPのモジュラリティが上回っていることから、構造的学習が行われていることが示唆される。
• ドロップアウトを用いて訓練した場合、ドロップアウトなしで訓練した場合と比べて、モジュラリティが著しく高い。
• ネットワークで特定されたモジュールは、重要度に差があり、一部のモジュールが性能により大きな寄与をしている。
• モジュール同士に相互依存性が見られることから、性能は異なる機能的単位の協調的連携に依存していることが示唆される。
• 結果から、ニューラルネットワークの重みはランダムに構成されているのではなく、解釈可能で測定可能な内部組織を発展させていることが示唆される。