[論文レビュー] Ablation Studies in Artificial Neural Networks

Richard Meyes, Melanie Lu+2 more|arXiv (Cornell University)|Jan 24, 2019

Neural Networks and Applications参考文献 43被引用数 168

ひとこと要約

この論文は、MNISTの浅いMLPとImageNetのVGG-19 CNNで単一ユニットおよび対ペアユニットアブレーションを実施し、知識表現、冗長性、層・クラス特性の影響、ダメージ後の回復トレーニングを研究する。

ABSTRACT

Ablation studies have been widely used in the field of neuroscience to tackle complex biological systems such as the extensively studied Drosophila central nervous system, the vertebrate brain and more interestingly and most delicately, the human brain. In the past, these kinds of studies were utilized to uncover structure and organization in the brain, i.e. a mapping of features inherent to external stimuli onto different areas of the neocortex. considering the growth in size and complexity of state-of-the-art artificial neural networks (ANNs) and the corresponding growth in complexity of the tasks that are tackled by these networks, the question arises whether ablation studies may be used to investigate these networks for a similar organization of their inner representations. In this paper, we address this question and performed two ablation studies in two fundamentally different ANNs to investigate their inner representations of two well-known benchmark datasets from the computer vision domain. We found that features distinct to the local and global structure of the data are selectively represented in specific parts of the network. Furthermore, some of these representations are redundant, awarding the network a certain robustness to structural damages. We further determined the importance of specific parts of the network for the classification task solely based on the weight structure of single units. Finally, we examined the ability of damaged networks to recover from the consequences of ablations by means of recovery training. We argue that ablations studies are a feasible method to investigate knowledge representations in ANNs and are especially helpful to examine a networks robustness to structural damages, a feature of ANNs that will become increasingly important for future safety-critical applications.

研究の動機と目的

• 神経科学に触発したアブレーションの使用を理解するための現代のANNにおける知識表現の理解を動機付ける。
• 浅いMLPと深いCNNにおける全体的およびクラス特異的パフォーマンスへのアブレーションの影響を検討する。
• ネットワークの部分や層間での表現の冗長性と局在化を調査する。
• ダメージ後の回復トレーニングによるパフォーマンス回復能力を評価する。

提案手法

• MNISTで訓練された二-hidden-layer MLPに対して、個々のユニットへの入力重みをゼロにして単一ユニットアブレーションを実施。
• MLPでの対ペアアブレーションを実施し、冗長性と結合効果を評価する。
• ImageNetで事前訓練されたVGG-19の畳み込みフィルタに対して、グループ（1%、5%、10%、25%）アブレーションを適用し、類似性に基づくグルーピングを用いる。
• ImageNetバリデーションでトップ1およびトップ5の精度を用いて影響を評価する。
• t-SNEを用いてアブレーション後のデータ構造表現を視覚化する。
• 高位層を凍結し、損傷したネットワークを再訓練してパフォーマンス回復を測定する回復トレーニングを実施。

実験結果

リサーチクエスチョン

• RQ1 アブレーションは神経科学の知見に対応した、ANNにおける局所化された表現と分散表現を明らかにするか。
• RQ2 単一ユニットおよび対ペアアブレーションは、浅いアーキテクチャと深いアーキテクチャで全体的およびクラス特異的パフォーマンスにどのような影響を与えるか。
• RQ3 いくつかの層やクラスはアブレーションに対して脆弱または頑健であるか。
• RQ4 損傷したネットワークはターゲットを絞った回復トレーニングでパフォーマンスを回復できるか、どの程度まで？
• RQ5 冗長性がアブレーションに対して緩衝となり、特定のクラスに対する選択的表現の存在があるか。

主な発見

• MLPの単一ユニットアブレーションは全体の精度を大きく低下させることがある（例として最大で44.5ポイント）一方で、いくつかのクラスのクラス特異的な精度を改善することもある。
• いくつかのユニットは普遍的に重要だが、他は特定のクラスに対して選択的に重要であり、影響は訓練後の入力重み分布の変化と相関する。
• 対ペアアブレーションは単一アブレーションの和より強い効果を示すことがあり、冗長性を示す一方でユニット間の固有の相互作用の可能性もある。
• VGG-19では層によってアブレーション効果が異なり、より大きな割合のアブレーションは一般に精度の低下を大きくする。いくつかの層は特定のクラスにとってより重要である。
• いくつかの層のアブレーションは、いくつかのクラスのパフォーマンスを予期せず向上させることがあり、表現の複雑な再配分を示す。
• 回復トレーニングはアブレーション後のパフォーマンスを大きく回復でき、時にはある層のフィルタの約80%まで損傷しても元のレベルに近づくことがある。