[論文レビュー] How does this interaction affect me? Interpretable attribution for feature interactions

Michael Tsang, Sirisha Rambhatla+1 more|arXiv (Cornell University)|Jun 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 54被引用数 34

ひとこと要約

Archipelago は ArchAttribute (相互作用を考慮した属性付与) と ArchDetect (相互作用検出) を提示し、ブラックボックスモデルの特徴量の相互作用について、解釈可能で公理的かつスケーラブルな説明を提供します。文 sentiment 分析と画像分類で従来法より解釈性が優れていることを示し、テキスト・医用画像・広告/推奨の視覚化を通じて相互作用を示します。

ABSTRACT

Machine learning transparency calls for interpretable explanations of how inputs relate to predictions. Feature attribution is a way to analyze the impact of features on predictions. Feature interactions are the contextual dependence between features that jointly impact predictions. There are a number of methods that extract feature interactions in prediction models; however, the methods that assign attributions to interactions are either uninterpretable, model-specific, or non-axiomatic. We propose an interaction attribution and detection framework called Archipelago which addresses these problems and is also scalable in real-world settings. Our experiments on standard annotation labels indicate our approach provides significantly more interpretable explanations than comparable methods, which is important for analyzing the impact of interactions on predictions. We also provide accompanying visualizations of our approach that give new insights into deep neural networks.

研究の動機と目的

• 特徴量の相互作用が予測をどのように駆動するかを解釈可能な説明が必要であることを動機づける。
• モデルに依存せず公理的な相互作用対応の属性付与を行う ArchAttribute を提案する。
• Disjoint な高次の相互作用セットを効率的に識別する ArchDetect を導入する。
• Archipelago が sentiment analysis と image classification においてベースラインより解釈可能な説明を提供するという実証的証拠を示す。
• NLP、医用画像、広告/推奨シナリオにおける相互作用を視覚化して示す。

提案手法

• 特徴量がモデル出力に共同で影響を与えるときの統計的非加法的相互作用を formalize する。
• ArchAttribute を導入し、f(x*_I + x'_-I) - f(x') を介して相互作用する特徴セットへ予測の変化を属性づける。
• Set Attribution 公理を提案し、特徴セットに対する Completeness などの他の属性付与公理を ArchAttribute が満たすことを証明する。
• 離散的混合偏微分の解釈を用いてペアワイズ相互作用の強さを推定する ArchDetect を開発し、ペアワイズ相互作用を分離した高次相互作用セットへ O(p^2) 効率で統合する。
• テキストと画像ドメインで ArchAttribute の属性付与と ArchDetect が識別した相互作用を組み合わせて Archipelago の説明を視覚化するフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 モデル非依存かつ公理的な方法で相互作用に予測を属性付けするにはどうすればよいか？
• RQ2 任意の次数の相互作用を効率的に検出・統合して解釈可能で分離されたセットにできるか？
• RQ3 Archipelago による相互作用の属性付けは真の注釈ラベルと整合するか？
• RQ4 Archipelago の視覚化は従来の方法よりモデル挙動へのより明確な洞察を提供するか？

主な発見

• ArchAttribute は特徴量相互作用の解釈可能でモデル非依存の属性付与を提供し、Set Attribution という新しい公理を含む拡張公理集合を満たします。
• ArchDetect は O(p^2) の効率でペアワイズ相互作用を検出し、それらを分離した高次相互作用セットへ統合することで実現可能性を改善します。
• 感情分析と画像分類で、Archipelago ベースの説明は複数のベースラインより真の注釈とより強く相関します（例：SST で高い相関スコア、ImageNet/COCO ベースの評価で強いセグメント AUC）。
• Archipelago の視覚化はテキストの局所的・長距離の相互作用の両方を示し、画像では予測に関連する意味的に意味のある領域を強調します（例：胸部X線の“great vessels”）。
• IG、IH、STI、SI、SCD、SOC などの方法と比較して、ArchDetect は合成タスクで優れた検出性能を示し、属性付与タスクで ArchAttribute がベースラインを上回ります。