[論文レビュー] A Note about: Local Explanation Methods for Deep Neural Networks lack Sensitivity to Parameter Values

Mukund Sundararajan, Ankur Taly|arXiv (Cornell University)|Jun 11, 2018

Explainable Artificial Intelligence (XAI)参考文献 8被引用数 11

ひとこと要約

この論文は、統合勾配（IG）が深層ニューラルネットワークのパラメータに感受性を示さないという主張に反論し、Adebayoら（2018）がランダムネットワークと訓練済みネットワークの説明の間に高い相関を観測したのは、2つのアーティファクトによるものであることを示している。その2つとは（1）絶対値による正規化で、黒いMNISTピクセルにおける共通のゼロ属性割り当てによってスピアマン相関が上昇すること、（2）属性割り当てがゼロであるベースラインピクセルを含めることである。これらのアーティファクトを是正すると、ランダムおよび訓練済みネットワークのIG説明は相関しなくなり、IGが適切に評価された際にはパラメータ値に感受性を示すことが実証される。

ABSTRACT

Local explanation methods, also known as attribution methods, attribute a deep network's prediction to its input (cf. Baehrens et al. (2010)). We respond to the claim from Adebayo et al. (2018) that local explanation methods lack sensitivity, i.e., DNNs with randomly-initialized weights produce explanations that are both visually and quantitatively similar to those produced by DNNs with learned weights. Further investigation reveals that their findings are due to two choices in their analysis: (a) ignoring the signs of the attributions; and (b) for integrated gradients (IG), including pixels in their analysis that have zero attributions by choice of the baseline (an auxiliary input relative to which the attributions are computed). When both factors are accounted for, IG attributions for a random network and the actual network are uncorrelated. Our investigation also sheds light on how these issues affect visualizations, although we note that more work is needed to understand how viewers interpret the difference between the random and the actual attributions.

研究の動機と目的

• 局所的説明手法（例：統合勾度）がニューラルネットワークのパラメータに感受性を示さないという主張に反論すること。
• Adebayoら（2018）によるMNIST上での統合勾度の評価における方法論的欠陥を特定・是正すること。
• 適切な評価指標が用いられた際、統合勾度がネットワークパラメータに感受性を示すことを実証すること。
• 正規化とベースライン選択が属性割り当て手法の視覚的および定量的評価を歪める仕組みを浮き彫りにすること。
• 解釈可能性研究における可視化と評価の方法をより注意深く行うべきであることを提唱すること。

提案手法

• 黒いピクセルにおける共通のゼロ属性割り当てを考慮に入れた、訓練済みネットワークとランダム初期化ネットワークの統合勾度間のスピアマン順位相関の再評価。
• ゼロ属性割り当てピクセルを除外することで誤った相関を排除する、修正された相関指標である spearman_nz の導入。
• 絶対値ではなく符号を保持した可視化により、パラメータ感受性を明らかにすること。
• すべてのピクセルにおける統合勾度スコアの合計を分析し、ベースラインからのモデル予測差の変化を追跡すること。
• 黒い画像をベースラインとすることで、すべての黒いピクセルにゼロ属性割り当てが生じる。これは元の誤った分析の中心的要因である。
• 50枚のMNIST画像を用いて平均化し、層を段階的にランダム化することで、相関の傾向を経験的に測定すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ Adebayo ら（2018）は、訓練済みネットワークとランダム初期化ネットワークの統合勾度の間で高いスピアマン相関を観測したのか？
• RQ2 絶対値による正規化が、属性割り当て手法の感受性解釈にどのように影響するか？
• RQ3 MNIST画像における黒いピクセルにおける共通のゼロ属性割り当てが、相関指標をどの程度歪めるか？
• RQ4 ネットワークパラメータがランダム化される過程で、統合勾度値の符号はどのように変化するか？
• RQ5 ベースライン選択と正規化が、属性マップの視覚的忠実度にどのような影響を及えるか？

主な発見

• Adebayo ら（2018）が報告した高いスピアマン相関は、主に絶対値による正規化に起因する。これは、黒いMNISTピクセルにおける共通のゼロ属性割り当てにより、相関が上昇するためである。
• ゼロ属性割り当てピクセルを spearman_nz 指標で除外すると、訓練済みネットワークとランダム初期化ネットワークの統合勾度間の相関は約 0.424 に低下し、意味的な類似性は存在しないことを示している。
• 統合勾度値の符号は、ネットワークパラメータに強く感受性を示しており、ランダム化の過程でピクセルの属性割り当てが正から負に反転する可視化によりそれが明らかになった。
• 属性割り当ての符号を保持した可視化では、元のネットワークが文字のストローク全体を強調している一方、ランダム化されたネットワークは断片的で一貫性のないパターンを生成している。
• すべてのピクセルにおける統合勾度スコアの合計は、ネットワークパラメータがランダム化されるにつれて著しく低下し、ゼロに近づく。これは、ベースラインからの予測差の喪失を示している。
• 絶対値による正規化を施さなければ、訓練済みネットワークとランダム化ネットワークの間のスピアマン相関は 0.0 に低下する。これにより、正規化が誤った結果を生み出す中心的要因であることが確認された。