[論文レビュー] Explaining Visual Models by Causal Attribution

Álvaro Parafita, Jordi Vitrià|arXiv (Cornell University)|Sep 19, 2019

Explainable Artificial Intelligence (XAI)参考文献 19被引用数 11

ひとこと要約

本稿では、干渉された因果モデルを用いて対応する画像を生成することにより、視覚モデルの予測を説明するための因果的帰属手法を提案している。これにより、特徴量の効果を信頼性高く推定できる。本研究では、観察的内挿ではなく因果的介入のみが、モデル意思決定の真の原因を特定できることを示しており、例えば3D Shapesデータセットにおいて床の色-tonが誤分類の原因であったことを明らかにした。

ABSTRACT

Model explanations based on pure observational data cannot compute the effects of features reliably, due to their inability to estimate how each factor alteration could affect the rest. We argue that explanations should be based on the causal model of the data and the derived intervened causal models, that represent the data distribution subject to interventions. With these models, we can compute counterfactuals, new samples that will inform us how the model reacts to feature changes on our input. We propose a novel explanation methodology based on Causal Counterfactuals and identify the limitations of current Image Generative Models in their application to counterfactual creation.

研究の動機と目的

• 画素レベルの帰属に依存するが意味的根拠のないサリエンシーカー(map)や後処理説明の限界を克服すること。
• 髪の色や顔のひげなど、顔認識分類器の出力に与える潜在的要因の因果的効果を推定することにより、モデルの予測を説明する手法を開発すること。
• 画像の任意の摂動に依存するのではなく、意味的な潜在的要因に干渉することで、モデルの予測におけるバイアスを同定・是正すること。
• 対応的説明が因果構造に根ざしており、生成された対応的データが現実的で干渉された分布を反映していることを保証するフレームワークを確立すること。

提案手法

• 画像データの潜在的要因の連合分布をモデル化するための分布的因果グラフ（DCG）を構築し、タイプ、形状、色-ton、スケールなどの変数をノードとして表す。
• バックプロパゲーションと対数尤度推定が可能になるように、微分可能な分布（ベルヌーイ、カテゴリカル、切断正規）を用いる。
• 特定の潜在的要因（例：床の色-ton）に干渉することで、観察データではなく干渉された因果モデルから新たな対応的サンプルを生成する。
• 対応的画像生成器を用いて、干渉された潜在的要因から画像を合成し、下流の影響が因果的依存関係と整合することを保証する。
• 各干渉に対して複数の対応的サンプルの分類器ログトロンを計算し、平均予測シフトと信頼区間を推定する。
• 3D Shapesデータセットを用いて手法を検証し、生成された分布と実データを比較し、可視化されたログトロンを用いて干渉効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 干渉された因果モデルから生成された因果的対応的説明は、サリエンシーまたは勾配ベースの手法よりも信頼性が高く意味的に意味のある説明を提供できるか？
• RQ2 潜在的要因（例：床の色-ton）に干渉することで、特定の画像に対する分類器の予測にどのような影響を与えるか。また、誤分類の原因を同定するために利用できるか？
• RQ3 現在の画像生成器は、データ内に存在する因果的依存関係を尊重する有効な対応的サンプルを生成できるかという限界は何か？
• RQ4 分布的因果グラフ（DCG）は、非線形的または循環的性質を持つ潜在的要因（例：色-ton）を含む現実世界のデータ分布をどの程度正確にモデル化できるか？
• RQ5 因果的帰属は、明示的にモデル化されていないが[0.4,0.6]の範囲に制限されている明るさのような、真の因果要因と誤った相関を区別できるか？

主な発見

• 本手法は、3D Shapes画像において、色-tonが[0.2,0.4]の範囲にあったことが誤分類の主な原因であることを特定した。干渉により色-tonを[0.6,0.9]にシフトさせたところ、正しく分類されるようになった。
• DCGはベルヌーイ分布およびカテゴリカル分布（例：タイプ、形状）を正確にモデル化しており、パラメータが実データ分布とよく一致している。
• 明るさやスケールなどの連続変数も、妥当に近似されているが、分布に含まれる非明示的制約がモデル化されていないため、明るさについてはやや精度が低い。
• 色-tonは循環的性質と離散的サンプリングのため、最もモデル化が不十分な変数であり、より良い性能を得るにはボン・ミーゼス分布のような特別な分布の導入が求められる。
• 干渉された因果モデルから生成された対応的サンプルは、意味的な予測シフトを生じるが、因果的でない生成器では真の因果的効果を反映できない。
• 真の因果要因（床の色-ton）に干渉した場合にのみ正しく分類が回復することから、因果的説明が誤った相関を上回ることを実証した。