[論文レビュー] Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals

Yair Ori Gat, Nitay Calderon+4 more|arXiv (Cornell University)|Oct 1, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、LLMが生成する反事後的仮説を用いて、ブラックボックスNLPモデルの忠実で因果的な説明を実現する、モデルに依存しない2つの手法を提案する：(1) 直接的なLLMベースの反事後的仮説生成と、(2) 訓練時にLLMが生成する反事後的仮説をガイドとして用いる、高速で効率的な照合手法。照合手法は、因果グラフに忠実な因果的埋め込み空間を学習し、特にTop-K技術と組み合わせると、多数のベースラインを上回る性能を発揮する。

ABSTRACT

Causal explanations of the predictions of NLP systems are essential to ensure safety and establish trust. Yet, existing methods often fall short of explaining model predictions effectively or efficiently and are often model-specific. In this paper, we address model-agnostic explanations, proposing two approaches for counterfactual (CF) approximation. The first approach is CF generation, where a large language model (LLM) is prompted to change a specific text concept while keeping confounding concepts unchanged. While this approach is demonstrated to be very effective, applying LLM at inference-time is costly. We hence present a second approach based on matching, and propose a method that is guided by an LLM at training-time and learns a dedicated embedding space. This space is faithful to a given causal graph and effectively serves to identify matches that approximate CFs. After showing theoretically that approximating CFs is required in order to construct faithful explanations, we benchmark our approaches and explain several models, including LLMs with billions of parameters. Our empirical results demonstrate the excellent performance of CF generation models as model-agnostic explainers. Moreover, our matching approach, which requires far less test-time resources, also provides effective explanations, surpassing many baselines. We also find that Top-K techniques universally improve every tested method. Finally, we showcase the potential of LLMs in constructing new benchmarks for model explanation and subsequently validate our conclusions. Our work illuminates new pathways for efficient and accurate approaches to interpreting NLP systems.

研究の動機と目的

• ブラックボックスNLPモデルの忠実でモデルに依存しない説明の不足に応えるために、因果的推論に基づく説明を提示すること。
• 既存手法の限界、特に交絡要因の存在下で相関と因果を混同する問題を克服すること。
• LLMベースの反事後的仮説生成における高い推論コストを抑えつつ、説明の忠実性を維持すること。
• 推論時に効率的な照合を可能にするために、与えられた因果グラフに忠実な因果的表現空間を学習する訓練時手法を開発すること。
• LLMを用いて高品質でスケーラブルなベンチマークを構築できるかを実証すること。

提案手法

• 特定の概念を変更しつつ、交絡要因を保持するようにプロンプトを設計したLLMを用いて、忠実な反事後的仮説を生成する手法を提案する。
• 対照的損失を用いて、LLMが生成した反事後的仮説と妥当な照合例に基づき、因果的表現空間を学習する照合ベースの手法を導入する。
• 背後要因基準を満たす調整変数を因果グラフを用いて定義し、反事後的仮説の近似において妥当な交絡要因の制御を保証する。
• 表現モデルの訓練に、類似した表現をクエリとCF／照合例に与え、不適切な例に対しては異なる表現を与える対照的目的関数を採用する。
• すべての手法にTop-K技術を適用し、照合および生成の両設定において、堅牢性と性能の向上を図る。
• GPT-4を訓練時に用いて高品質な反事後的仮説を生成し、妥当な照合を特定することで、テスト時にLLMを用いない効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する反事後的仮説は、ブラックボックスNLPモデルの最先端でモデルに依存しない説明として機能できるか？
• RQ2 テスト時に高価なLLM推論に依存せずに、忠実で因果的な説明を達成できるか？
• RQ3 学習された埋め込み空間は因果的忠実性を保持し、効率的かつ正確な反事後的仮説照合を可能にするか？
• RQ4 Top-K技術は反事後的仮説説明手法の性能をどの程度向上させるか？
• RQ5 LLMを用いてスケーラブルで高品質なベンチマークを構築できるか？

主な発見

• LLMベースの反事後的仮説生成は、モデルに依存しない説明として最先端の性能を達成し、因果的効果への忠実性が非常に高いことを示した。
• テスト時にLLM推論を回避する本手法の照合法は、生成法と比べて最大1000倍速く、多数の強力なベースラインを上回る性能を示した。
• Top-K技術は、評価されたすべての手法において一貫して性能を向上させ、堅牢性と正確性を顕著に向上させた。
• 学習された因果的埋め込み空間は、妥当な反事後的仮説の近似を効果的に同定でき、元の因果グラフへの忠実性を維持した。
• LLMを用いて高品質でスケーラブルなベンチマークを効果的に生成でき、高価な人的アノテーションへの依存を低減できることが実証された。
• 実証的結果から、忠実な説明のためには反事後的仮説の近似が不可欠であり、非因果的手法は交絡バイアスのためしばしば失敗することが明らかになった。