[論文レビュー] Relative Attributing Propagation: Interpreting the Comparative Contributions of Individual Units in Deep Neural Networks

Woo-Jeoung Nam, Shir Gur+3 more|arXiv (Cornell University)|Apr 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 15

ひとこと要約

本稿では、深層ニューラルネットワークの予測を、接続されたニューロン間の相対的影響に基づき、関連するニューロンに対して正のスコア、関連のないニューロンに対して負のスコアを割り当てる二値の関連スコアを用いて分解する、相対的関連伝播（RAP）という新しい手法を提案する。RAPは、物体関連特徴と背景特徴を明確に分離することで解釈可能性を向上させ、物体性、セグメンテーションmIOU、および負の関連スコアの摂動に対するロバスト性において、従来手法を上回る性能を発揮する。

ABSTRACT

As Deep Neural Networks (DNNs) have demonstrated superhuman performance in a variety of fields, there is an increasing interest in understanding the complex internal mechanisms of DNNs. In this paper, we propose Relative Attributing Propagation (RAP), which decomposes the output predictions of DNNs with a new perspective of separating the relevant (positive) and irrelevant (negative) attributions according to the relative influence between the layers. The relevance of each neuron is identified with respect to its degree of contribution, separated into positive and negative, while preserving the conservation rule. Considering the relevance assigned to neurons in terms of relative priority, RAP allows each neuron to be assigned with a bi-polar importance score concerning the output: from highly relevant to highly irrelevant. Therefore, our method makes it possible to interpret DNNs with much clearer and attentive visualizations of the separated attributions than the conventional explaining methods. To verify that the attributions propagated by RAP correctly account for each meaning, we utilize the evaluation metrics: (i) Outside-inside relevance ratio, (ii) Segmentation mIOU and (iii) Region perturbation. In all experiments and metrics, we present a sizable gap in comparison to the existing literature. Our source code is available in \url{https://github.com/wjNam/Relative_Attributing_Propagation}.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における透明性の欠如に取り組み、ニューロン寄与度のより解釈可能な付与を可能にすること。
• 絶対的貢献度に依存するため、正の関連と負の関連が混同される従来の付与手法の限界を克服すること。
• 絶対的貢献度の符号ではなく、ニューロン間の相対的影響に注目することで、関連性に関する新たな視点を提供すること。
• 関連性を正（予測に寄与する）と負（予測を損なう）に分離することで、重複を最小限に抑えた明確な可視化を実現すること。
• Outside-Inside関連比、mIOU、領域摂動といった定量的指標を用いて、優れた物体性とロバスト性を示す手法の妥当性を検証すること。

提案手法

• RAPは、層内のニューロン間の相対的影響に基づき、絶対的貢献度の大きさではなく、関連性を再定義する。
• すべてのニューロンの関連度の合計が最終出力に等しくなるように、関連度を再分配することで保存則を維持する。
• 接続されたニューロン間の相対的優先度に基づき、関連性を予測に寄与する（正）と、予測を損なう（負）に分離する。
• 関連度伝播は層ごとに実行され、各ニューロンの関連度は、その周囲のニューロンとの相対的影響に基づいて決定される。
• 負の関連度が明示的にモデル化され、評価に使用されており、正の関連度のみを扱う手法とは異なり、RAPは負の関連度を明示的に扱う。
• 関連度マップのしきい値処理（0または平均値）により、mIOU評価用のセグメンテーションマスクが生成され、物体性ベンチマークとの比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ニューロン間の相対的影響を考慮する新しい付与手法は、従来手法と比較してDNN予測の解釈可能性を向上させることができるか？
• RQ2 相対的影響に基づき正と負の関連度を分離することで、物体の意味論と整合性の高い明確な可視化が得られるか？
• RQ3 mIOUとセグメンテーション指標で測定した場合、RAPの関連度は物体領域と背景領域とどの程度相関しているか？
• RQ4 負の関連度（無関係なピクセル）の削除に対してRAPはどの程度ロバストであり、他の手法と比較して予測安定性を保っているか？
• RQ5 境界ボックスやセグメンテーションアノテーションを追加で必要としない状況でも、RAPは教師あり物体性手法と同等の性能を達成できるか？

主な発見

• RAPは、テストされたすべての手法の中で最高のOutside-Inside関連比を達成しており、関連領域と無関連領域の分離が優れていることを示している。
• ImageNetおよびPascal VOC 2012の検証セットにおいて、RAPはセグメンテーションタスクで最高の平均交差率（mIOU）を達成し、従来の説明手法を上回っている。
• 負の関連度（無関係領域）が最大4,000ピクセルにわたって0に摂動されても、RAPは高い予測精度を維持しており、ロバスト性を示している。
• 関連度マップと物体存在の間に強い相関が見られ、正の関連度は主な物体に集中し、負の関連度は背景に集中している。
• 境界ボックスやセグメンテーションアノテーションを用いない状況でも、RAPは最先端の非教師あり物体性手法と同等の性能を示している。
• 正と負の両方の関連度を評価対象とする（ALLケース）場合、RAPはすべての指標で最高のスコアを達成しており、負の寄与度を明示的にモデル化することの価値を確認している。