[論文レビュー] On the Relationship Between Explanation and Prediction: A Causal View

Amir-Hossein Karimi, Krikamol Muandet+3 more|arXiv (Cornell University)|Dec 13, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では因果推論を用いて、モデルの説明（E）と予測（Y）の関係を定量化し、高性能なモデルでは説明が予測よりも顕著にハイパーパrameterに影響を受けることが明らかになった。主な発見は、トップパフォーマンスのモデルにおいて、理想のE–Y依存関係と実際の依存関係の乖離が拡大することであり、説明がモデルの意思決定を信頼できる形で反映していない可能性を示唆している。

ABSTRACT

Being able to provide explanations for a model's decision has become a central requirement for the development, deployment, and adoption of machine learning models. However, we are yet to understand what explanation methods can and cannot do. How do upstream factors such as data, model prediction, hyperparameters, and random initialization influence downstream explanations? While previous work raised concerns that explanations (E) may have little relationship with the prediction (Y), there is a lack of conclusive study to quantify this relationship. Our work borrows tools from causal inference to systematically assay this relationship. More specifically, we study the relationship between E and Y by measuring the treatment effect when intervening on their causal ancestors, i.e., on hyperparameters and inputs used to generate saliency-based Es or Ys. Our results suggest that the relationships between E and Y is far from ideal. In fact, the gap between 'ideal' case only increase in higher-performing models -- models that are likely to be deployed. Our work is a promising first step towards providing a quantitative measure of the relationship between E and Y, which could also inform the future development of methods for E with a quantitative metric.

研究の動機と目的

• ハイパーパrameter やデータなどの上流要因を用いて、モデルの説明（E）と予測（Y）の因果的関係を体系的かつ系統的に調査すること。
• 説明（E）に及ぼす影響のうち、予測（Y）によるものと、ハイパーパrameter（H）などの他の上流要因によるものの割合を定量化すること。
• 高性能なモデルにおける説明手法が、信頼できるモデル解釈を実現するために必要なように、予測との強い信頼性のある関係を維持しているかどうかを評価すること。
• 説明手法の予測との整合性に基づいて、その品質を定量化・因果的に評価するための指標を提供すること。
• ハイパーパrameterからの強い間接的影響によって説明が誤解を招く可能性がある状況を特定することで、実務家や今後の手法開発に知見を提供すること。

提案手法

• 本研究では、因果推論の潜在的アウトカムフレームワークを用い、ハイパーパrameter（H）が予測（Y）および説明（E）に与える処置効果を測定する。
• HがEに及ぼす直接的影響と、Yを介した間接的影響を区別し、Hに対する反事後的介入を用いて因果的経路を分離する。
• 複数のデータセットで学習された、ハイパーパrameterが異なる30,000個の事前学習済みモデルを対象とし、大規模な因果的評価を可能にする。
• Hの変化がEおよびYに与える影響の程度を評価し、Eの変動のうちYによるものとHによるものの割合を測定する指標を計算する。
• HがEおよびYに与える実際の影響を、すべての影響がYを通じて伝わる理想状態（EがYにのみ依存）と比較し、理想依存からの逸脱を定量化する。
• 類似度ベースの説明手法（例：Grad-CAM、SmoothGrad）を用い、予測の変化に対するハイパーパrameterの感度を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルの説明（E）の変動が、予測（Y）の因果的要因である割合はどの程度で、ハイパーパrameter（H）の影響が上回るか？
• RQ2 異なるモデルパフォーマンス水準において、ハイパーパrameter（H）が説明（E）に与える因果的影響と、予測（Y）に与える影響を比較するとどうなるか？
• RQ3 高性能なモデルにおいて、EとYの関係は劣化するのか。特に、説明が最も多く利用される状況である。
• RQ4 特定のハイパーパrameter設定下でも、EとYの因果的関係がより強く保たれる説明手法は存在するか？
• RQ5 Eが予測と意味的に関連しているのか、それとも誤ったハイパーパrameter効果に由来するのかを定量化・因果的に評価する指標を開発可能か？

主な発見

• 説明（E）と予測（Y）の関係は、理想とはほど遠く、ハイパーパrameter（H）がEに直接かつ顕著に影響を与え、Yを通じた影響を上回っている。
• 特に高いパフォーマンスを示すモデル（実運用に最も多く使われるモデル）では、理想状態（EがYにのみ依存）と実状態（HがEに直接影響）の乖離が顕著に拡大している。
• Grad-CAM や SmoothGrad などの手法において、HがEに及ぼす直接的影響は、Yを介した間接的影響を大幅に上回っており、EがYを信頼できる形で反映していないことを示している。
• 一部のケースでは、HがEに与える影響がYに与える影響を上回っており、これは説明が主に予測によって形作られるべきという期待に反する。
• 結果から、高性能なモデルの説明は、実際のモデル意思決定よりもハイパーパrameterの選択に強く依存している可能性があり、実運用における信頼性に懸念が生じる。
• 因果フレームワークにより、いかなる説明手法もE–Y関係を一貫して強く保つとは限らず、以前の妥当性チェック（たとえば、訓練済みモデルと未訓練モデルの視覚的類似性）に合格したとしても同様の結果であることが判明した。