[論文レビュー] Neuron Shapley: Discovering the Responsible Neurons

Amirata Ghorbani, James Zou|arXiv (Cornell University)|Feb 23, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用数 61

ひとこと要約

Neuron Shapleyは、深層ネットワークにおける個々のニューロンの寄与を、相互作用を考慮したShapley値フレームワークを導入し、効率的な推定のためにマルチアームバンドットアプローチを用いる。疎で臨界的なフィルタを特定し、再訓練せずに公正性と堅牢性のための事後モデル修復を可能にします。

ABSTRACT

We develop Neuron Shapley as a new framework to quantify the contribution of individual neurons to the prediction and performance of a deep network. By accounting for interactions across neurons, Neuron Shapley is more effective in identifying important filters compared to common approaches based on activation patterns. Interestingly, removing just 30 filters with the highest Shapley scores effectively destroys the prediction accuracy of Inception-v3 on ImageNet. Visualization of these few critical filters provides insights into how the network functions. Neuron Shapley is a flexible framework and can be applied to identify responsible neurons in many tasks. We illustrate additional applications of identifying filters that are responsible for biased prediction in facial recognition and filters that are vulnerable to adversarial attacks. Removing these filters is a quick way to repair models. Enabling all these applications is a new multi-arm bandit algorithm that we developed to efficiently estimate Neuron Shapley values.

研究の動機と目的

• 各ニューロンの寄与度を、ニューロン間の相互作用を考慮してネットワークの性能に対して定量化する。
• 大規模なネットワークでNeuron Shapley値を近似する効率的なアルゴリズムを開発する。
• 少数のニューロンのセットが、精度、公正性、堅牢性といったタスク全体でネットワーク性能を支配できることを実証する。
• 数個の臨界ニューロンを取り除くことで、再訓練なしにモデルを修復できることを示す。

提案手法

• Neuron Shapleyを、非-Sニューロンをゼロにした後のV(S)を用いて、ニューロンへネットワークの性能を唯一の公正な割り当てとして定義します。
• 新しいTruncated Multi-Armed Bandit (TMAB)アプローチを用いたモンテカルロShapley推定を用いて、上位k個の影響力ニューロンを効率的に識別します。
• 希少で高影響なニューロンを利用して計算を削減するため、早期トランケーションと適応サンプリングを導入します。
• TMAB-ShapleyをMC-Shapleyと比較し、サンプル効率と忠実度が高いことを示します（R2≈0.975、順位相関≈0.988）。
• 本手法をImageNet上のInception-v3とCelebA上のSqueezeNetに適用し、精度、公正性、敵対的脆弱性といったタスクを評価します。
• 再訓練なしに原因ニューロンをゼロにして、公正性と堅牢性を改善する事後学習モデル修復を実演します。

実験結果

リサーチクエスチョン

• RQ1 Neuron Shapleyは、ニューロン間の相互作用を捉えつつ、個々のニューロンの寄与を正確に定量化できるか？
• RQ2 大規模ネットワークでShapley値を効率的に近似して、疎な臨界ニューロンのセットを特定するにはどうすればよいか？
• RQ3 わずか数個のニューロンが全体の精度・公正性・堅牢性を推進し、これらを除去することでモデルを再訓練なしに修復できるか？
• RQ4 Neuron Shapleyはクラス特異的および層特異的な臨界ニューロンを明らかにできるか、そしてこれらは解釈性とどう関係するか？
• RQ5 Neuron Shapleyはバイアスや敵対的脆弱性の原因となるニューロンを特定するのに有効か？

主な発見

• 小さく疎なニューロンのセット（フィルタ）が、タスク全体を通じてネットワークの性能を大きく決定します。
• Shapleyスコアが最高の上位30個のフィルタを削除すると、ImageNet上のInception-v3の精度が大幅に崩れます。
• 原因ニューロンをゼロにすることで、バイアスの懸念があるタスクで公正性が向上し、敵対的脆弱性も大きな精度損失なく低減します。
• Neuron Shapleyは、精度、公正性、堅牢性のための臨界フィルタを特定する際、他のニューロン重要度手法（例：Neuron Conductance）より優れています。
• TMAB-Shapleyアルゴリズムは、MC-Shapleyと比較して約10分の1のサンプル数で高い精度を維持します（R2 ≈ 0.975、順位相関 ≈ 0.988）。
• クラス特異的なニューロンが存在し、特定のクラスにとって臨界なフィルタもある一方、削除しても全体の性能には最小限の影響しかないフィルタもあります。