[論文レビュー] Under the Hood of Neural Networks: Characterizing Learned Representations by Functional Neuron Populations and Network Ablations

Richard Meyes, Constantin Waubert de Puiseau+2 more|arXiv (Cornell University)|Apr 2, 2020

Adversarial Robustness in Machine Learning参考文献 44被引用数 13

ひとこと要約

本稿は、関数的ニューロン集団とネットワークアブレーションを分析することで、ニューラルネットワークの解釈可能性を調査し、学習された表現の構造と分布を解明する。クラス固有の表現が別個のニューロン集団に局在していることが明らかになり、アブレーションに対する耐性はクラスや特徴タイプによって異なる。また、ニューロンの重要性を完全に捉える単一の指標は存在せず、解釈可能性とトランスファーラーニングにおいて多面的な分析の必要性が強調される。

ABSTRACT

The need for more transparency of the decision-making processes in artificial neural networks steadily increases driven by their applications in safety critical and ethically challenging domains such as autonomous driving or medical diagnostics. We address today's lack of transparency of neural networks and shed light on the roles of single neurons and groups of neurons within the network fulfilling a learned task. Inspired by research in the field of neuroscience, we characterize the learned representations by activation patterns and network ablations, revealing functional neuron populations that a) act jointly in response to specific stimuli or b) have similar impact on the network's performance after being ablated. We find that neither a neuron's magnitude or selectivity of activation, nor its impact on network performance are sufficient stand-alone indicators for its importance for the overall task. We argue that such indicators are essential for future advances in transfer learning and modern neuroscience.

研究の動機と目的

• 医療診断や自動運転などの安全が求められる応用分野におけるディープニューラルネットワークの透明性を向上させること。
• 個々のニューロンやニューロン集団が学習された表現やネットワーク性能にどのように寄与しているかについての理解の不足を解消すること。
• ニューロンの選択性、活性化の大きさ、アブレーションの影響のいずれかが分類タスクにおける機能的重要性を予測できるかどうかを調査すること。
• 人工ニューラルネットワークの組織構造と生物学的神経系との類似性、特に機能的ニューロン集団構造についての類似性を探ること。
• 知識表現の構造的原則を特定することで、将来のトランスファーラーニングおよび神経科学の進展を支援すること。

提案手法

• 異なる画像分類データセットで学習した3つのニューラルネットワーク（F-Net、M-Net、K-Net）を用いて、層をまたいで表現がどのように進化するかを調査した。
• 特定の入力に対するニューロンの活性化パターンを分析し、刺激に対して共通の応答を示す機能的ニューロン集団を同定した。
• 個々のニューロンを削除する体系的ネットワークアブレーションを実施し、分類精度への影響を各クラスごとに測定した。
• UMAP埋め込みを用いて層間をまたいで活性化空間の分離性を可視化し、ネットワークの深さに伴うクラスの明確さの変化を追跡した。
• 特定のクラスに最も反応するユニットの数を数えることでニューロン選択性を定量化し、UMAPに基づくクラス分離性（NHスコア）と相関させた。
• ピアソン相関を用いて、ニューロン選択性、アブレーション影響、埋め込み空間内のクラス分離性との関係を評価した。

実験結果

リサーチクエスチョン

• RQ1 訓練済みニューラルネットワークにおいて、クラス固有の表現は層やニューロン集団のどこにどのように分布しているか？
• RQ2 ニューロンの活性化の大きさや選択性は、分類におけるニューロンの機能的重要性をどの程度予測できるか？
• RQ3 個々のニューロンのアブレーションは、ネットワークの活性化空間におけるクラス分離性にどのように影響するか？
• RQ4 クラス選択性を持つニューロンの数と、活性化空間におけるクラス分離度の程度との間にどのような関係があるか？
• RQ5 特定の入力に共通して反応する機能的ニューロン集団を同定できるか。また、そのサイズはクラスごとにどのように変化するか？

主な発見

• クラス固有の表現は、ネットワークの深い層を進むに従い、活性化空間でより明確に分離されるようになる。
• 初期層のアブレーションは活性化空間の分離性にほとんど影響を与えなかったが、後続層のアブレーションは分離性を顕著に低下させ、クラスの重なりや誤分類を引き起こした。
• F-Netでは、クラス選択性を持つニューロンの数とクラス分離度（NHスコア）との間に強い正の相関（r = 0.61、p = 0.06）が確認されたが、M-Net や K-Net では確認されなかった。
• F-Netでは、アブレーション影響が最も顕著なニューロンとNHスコアとの間に有意な正の相関（r = 0.68、p = 0.03）が観察され、性能に最も重要であるニューロンが、より良いクラス分離性と関連していることが示された。
• 活性化の大きさ、選択性、アブレーション影響といった単一の指標では、ニューロンの機能的重要性を信頼性を持って予測できないことが判明した。これは、完全な解釈可能性には複数の指標を併用する必要があることを示唆している。
• 機能的ニューロン集団のサイズは、果たす役割（特定のクラスを表現する役割）によって顕著に異なることが判明し、ネットワークの容量要件がクラス固有の特性に依存することを示唆している。