[論文レビュー] Restricting the Flow: Information Bottlenecks for Attribution

Karl Schulz, Leon Sixt+2 more|arXiv (Cornell University)|Jan 2, 2020

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 55

ひとこと要約

本論文は情報ボトルネックの概念をアトリビューションに適用し、中間特徴マップにノイズを加えて画像領域がどれだけ情報を提供するかを定量化し、いくつかの設定でベースラインよりも利点を示す。

ABSTRACT

Attribution methods provide insights into the decision-making of machine learning models like artificial neural networks. For a given input sample, they assign a relevance score to each individual input variable, such as the pixels of an image. In this work we adapt the information bottleneck concept for attribution. By adding noise to intermediate feature maps we restrict the flow of information and can quantify (in bits) how much information image regions provide. We compare our method against ten baselines using three different metrics on VGG-16 and ResNet-50, and find that our methods outperform all baselines in five out of six settings. The method's information-theoretic foundation provides an absolute frame of reference for attribution values (bits) and a guarantee that regions scored close to zero are not necessary for the network's decision. For reviews: https://openreview.net/forum?id=S1xWh1rYwB For code: https://github.com/BioroboticsLab/IBA

研究の動機と目的

• ニューラルネットワークにおける特徴アトリビューションのために情報ボトルネックの概念を適用する。
• 中間特徴マップにノイズを加えることにより、画像領域の情報寄与をビット単位で定量化する。
• アトリビューションタスクにおいて、標準的なCNNアーキテクチャを用いた複数のベースラインと提案手法を比較する。

提案手法

• アトリビューションのために情報の流れを制限するよう中間特徴マップにノイズを導入する。
• 画像領域が決定に寄与する情報量をビット単位で定量化する。
• VGG-16とResNet-50で三つの指標を用いて十のベースラインと比較評価する。
• 情報理論的基盤を提供し、アトリビューション値（ビット）の絶対参照を提供する。
• スコアがほぼゼロに近い領域がネットワークの決定にとって必要でないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネックは画像領域のための原理的でビットレベルのアトリビューション指標を提供できるか？
• RQ2 提案されたボトルネックベースのアトリビューションは、標準的なCNNアーキテクチャと指標全体で既存のベースラインとどのように比較されるか？
• RQ3 設定全体でほぼゼロに近い領域が意思決定に不可欠でないことを方法は保証するか？

主な発見

• 本手法は六つの設定中五つで全ベースラインを上回る。
• 情報理論的基盤はビット単位のアトリビューション値の絶対的な参照フレームを提供する。
• 本手法によれば、ゼロに近いスコアの領域はネットワークの決定に必要ない。