[論文レビュー] Revisiting the Importance of Individual Units in CNNs via Ablation

Bolei Zhou, Yiyou Sun+2 more|arXiv (Cornell University)|Jun 7, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用数 89

ひとこと要約

個々のCNNユニットを無効化しても全体の精度にはほとんど影響しないが、特定のクラスで大幅な低下を引き起こす可能性があり、ユニットはクラスのサブセットに特化していることを示唆している。研究はユニット属性をクラス特有の重要性と関連づけ、回転、バッチ正規化、ドロップアウトの効果を検討する。

ABSTRACT

We revisit the importance of the individual units in Convolutional Neural Networks (CNNs) for visual recognition. By conducting unit ablation experiments on CNNs trained on large scale image datasets, we demonstrate that, though ablating any individual unit does not hurt overall classification accuracy, it does lead to significant damage on the accuracy of specific classes. This result shows that an individual unit is specialized to encode information relevant to a subset of classes. We compute the correlation between the accuracy drop under unit ablation and various attributes of an individual unit such as class selectivity and weight L1 norm. We confirm that unit attributes such as class selectivity are a poor predictor for impact on overall accuracy as found previously in recent work \cite{morcos2018importance}. However, our results show that class selectivity along with other attributes are good predictors of the importance of one unit to individual classes. We evaluate the impact of random rotation, batch normalization, and dropout to the importance of units to specific classes. Our results show that units with high selectivity play an important role in network classification power at the individual class level. Understanding and interpreting the behavior of these units is necessary and meaningful.

研究の動機と目的

• 個別のCNNユニットが全体精度を超えた視覚認識への寄与の詳細な分析を動機づける。
• 大規模データセット全体とクラス別の精度の両方に対する単一ユニットのアブレーションの影響を定量化する。
• ユニット属性（選択性、相関、L1ノルム、概念整合性）とそれらのクラス特有の重要性との相関を調査する。
• バッチ正規化やドロップアウトなどのトレーニング正則化がユニットの解釈性とクラス特有の寄与に与える影響を検討する。

提案手法

• ユニットの重みとバイアスをゼロにしてアブレーションを実行し、検証精度の低下を測定する。
• 全体の精度低下とクラス別の精度低下（各ユニットあたりの最大クラス精度低下）の2種類を計算する。
• 最大クラス精度低下でユニットをランク付けして、各ユニットが持つクラス特異情報を評価する。
• ユニット属性（L1ノルム、クラス相関、クラス選択性、概念IoU）と全体および最大クラス精度低下との相関を分析する。
• アブレーションと、表現空間内のランダムな回転による方向性現象を区別するためのユニット方向の回転を比較する。
• バッチ正規化とドロップアウトがユニットレベルの解釈性とクラス特有の寄与に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 単一ユニットのアブレーションは、全体のCNN精度を有意に損なうのか、それとも主に特定のクラスのサブセットに影響を与えるのか。
• RQ2 クラス別の精度と全体的な一般化におけるユニットの重要性を最もよく予測する属性はどれか。
• RQ3 バッチ正規化やドロップアウトのような正則化は、ユニットが持つクラス特有の情報にどのような影響を与えるのか。
• RQ4 アブレーションの効果は、表現空間の意味のあるユニット方向に起因するのか、それともランダムな回転に起因するのか。

主な発見

• 単一のユニットアブレーションは全体の精度低下を小さくすることが多いが、特定のクラスで大きな低下を引き起こすことがある（例として一部クラスで>10%）。
• ユニットは特定のクラスに対してより大きな影響を与えるように特化しており、表現空間の単一方向との一致を示す。
• 最大クラス精度低下は、特にクラス選択性とクラス相関などのいくつかのユニット属性と負の相関を持ち、クラスにより整列したユニットほどクラス別の影響が大きいことを示唆する。
• ユニットのL1ノルムは全体およびクラス別の低下と相関があり、 pruning に関連する重みがユニットの重要性に関係していることを示唆する。
• 概念整合性（視覚概念とのIoU）は、ユニットが最も影響を与えるクラスを予測する強力な指標であり、単一属性の予測子の中でクラスごとの影響予測において他の指標を上回る。
• ユニット方向のランダム回転は、真のユニット方向に比べてクラス特有の効果が一般に弱く、ランダム方向を越えた専門性を示す。