[論文レビュー] Causal Proxy Models for Concept-Based Model Explanations

Zhengxuan Wu, Karel D’Oosterlinck+3 more|arXiv (Cornell University)|Sep 28, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文では、NLPにおける概念ベースのモデル解釈のための新規フレームワークである因果プロキシモデル（CPMs）を紹介する。CPMsは、正確な反事後的入力を得られないブラックボックスモデルに対し、人間によるアノテーションまたはヒューリスティックに生成された近似反事後的入力を用いて、事実的および反事後的行動を模倣するサーヴィェイモデルを訓練する。CPMsはCEBaBベンチマークで最先端の性能を達成でき、元のモデルに置き換え可能であり、隠れ状態における局所化された概念表現を通じて、高い事実的正確性と解釈可能で因果的根拠を持つ説明を提供する。

ABSTRACT

Explainability methods for NLP systems encounter a version of the fundamental problem of causal inference: for a given ground-truth input text, we never truly observe the counterfactual texts necessary for isolating the causal effects of model representations on outputs. In response, many explainability methods make no use of counterfactual texts, assuming they will be unavailable. In this paper, we show that robust causal explainability methods can be created using approximate counterfactuals, which can be written by humans to approximate a specific counterfactual or simply sampled using metadata-guided heuristics. The core of our proposal is the Causal Proxy Model (CPM). A CPM explains a black-box model $\mathcal{N}$ because it is trained to have the same actual input/output behavior as $\mathcal{N}$ while creating neural representations that can be intervened upon to simulate the counterfactual input/output behavior of $\mathcal{N}$. Furthermore, we show that the best CPM for $\mathcal{N}$ performs comparably to $\mathcal{N}$ in making factual predictions, which means that the CPM can simply replace $\mathcal{N}$, leading to more explainable deployed models. Our code is available at https://github.com/frankaging/Causal-Proxy-Model.

研究の動機と目的

• ブラックボックスモデルに対して真の反事後的入力が観測不可能であるため、NLPにおける説明可能性における因果推論の根本的問題に取り組むこと。
• 実際には完全な反事後的入力が得られない状況下でも、安定した因果的根拠を持つ説明手法を開発すること。
• ブラックボックスモデルの事実的および反事後的行動を再現するサーヴィェイモデルを構築し、説明可能なデプロイメントを可能にすること。
• モデル表現における概念レベルの情報を局所化することで、より解釈可能で実行可能（アクション可能な）なインサイトを得ること。

提案手法

• ブラックボックスモデル 𝒩 の事実的予測を一致させるように、蒸留スタイルの目的関数を用いて因果プロキシモデル（CPMs）を訓練する。
• 2つの異なる訓練戦略を用いる：入力ベースの干渉（CPM_IN）、これは反事後的概念値を示すトークンを入力に付加する方法であり、隠れ状態への干渉（CPM_HI）、これは交換干渉訓練（IIT）を用いて特定の隠れ状態に概念情報を局所化する方法である。
• 反事後的行動の訓練データとして、人間によるアノテーションまたはメタデータを用いたヒューリスティック生成による近似反事後的入力を活用する。
• パス統合勾配法（Path Integrated Gradients）を適応し、CPM_HIにおける中間の概念局所化された隠れ状態を通じて、入力レベルの帰属割り当てを可能にする。
• CPMsが元のモデル 𝒩 と同等の事実的性能を維持することを保証し、説明可能なデプロイメントのためのモデル置き換えを可能にする。
• CEBaBベンチマークからの概念レベルおよびテキストレベルのセンチメントアノテーションを用いて、反事後的行動の監視と評価を行う。

実験結果

リサーチクエスチョン

• RQ1 人間が生成したか、ヒューリスティックに生成された近似反事後的入力は、NLPモデルの堅牢な因果的説明を可能にするか？
• RQ2 近似反事後的入力で訓練された因果プロキシモデル（CPMs）は、CEBaBのような因果的説明ベンチマークで最先端の性能を達成するか？
• RQ3 CPMsは、事実的正確性を維持したまま、元のブラックボックスモデルに置き換え可能であり、より深い解釈性を提供できるか？
• RQ4 CPMsは、隠れ表現における概念レベルの情報をどれほど効果的に局所化しているか？また、その局所化は説明の質を向上させるか？
• RQ5 統合勾配のような勾配ベースの帰属割り当て手法は、概念局所化された中間状態を通じて、因果的関連のある入力語を強調できるか？

主な発見

• CPM_INおよびCPM_HIは、人間によるアノテーションおよびヒューリスティックに生成された近似反事後的入力の両方を用いて、CEBaBベンチマークで最先端の性能を達成した。
• ブラックボックスモデル 𝒩 に対して最良のCPMは、事実的予測において 𝒩 と同等の性能を示し、CPMが説明可能性を向上させるデプロイメントにおいて直接 𝒩 に置き換え可能であることを示した。
• CPM_HIモデルは、特定の隠れ状態に概念レベルの情報を効果的に局所化しており、より解釈可能で因果的根拠を持つ説明を可能にした。
• CPM_HIにおける勾配帰属割り当ては、訓練の進行に伴い安定した、概念に依存する語の重要度パターンを示し、意味的に関連する語（例：「ambiance」に対して「decorations」）が明確に強調された。
• 訓練プロセスは、予測に因果的に影響する要因を強調するように学習する、因果的根拠を持つ勾配を入力語に導入した。
• CPM_HIに適応されたパス統合勾配法により、中間の概念局所化された状態を通じて入力レベルの帰属割り当てが可能となり、説明の忠実度が向上した。