[論文レビュー] CEBaB: Estimating the Causal Effects of Real-World Concepts on NLP Model Behavior

Eldar David Abraham, Karel D’Oosterlinck+6 more|arXiv (Cornell University)|May 27, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、NLPにおける概念ベースの説明手法の評価を目的として、現実世界の概念（例：料理、サービス）がモデルの挙動に与える影響を分離する反事後的レストランレビューを生成することで、因果推論に基づくベンチマーク「CEBaB」を提案する。TCAV、ConceptSHAP、LIMEなどの手法を、検証済みのアスペクトレベルおよび全体の感情スコアを用いて厳密に比較可能にし、現実世界のNLPシナリオにおける因果効果推定の自然な指標を確立する。

ABSTRACT

The increasing size and complexity of modern ML systems has improved their predictive capabilities but made their behavior harder to explain. Many techniques for model explanation have been developed in response, but we lack clear criteria for assessing these techniques. In this paper, we cast model explanation as the causal inference problem of estimating causal effects of real-world concepts on the output behavior of ML models given actual input data. We introduce CEBaB, a new benchmark dataset for assessing concept-based explanation methods in Natural Language Processing (NLP). CEBaB consists of short restaurant reviews with human-generated counterfactual reviews in which an aspect (food, noise, ambiance, service) of the dining experience was modified. Original and counterfactual reviews are annotated with multiply-validated sentiment ratings at the aspect-level and review-level. The rich structure of CEBaB allows us to go beyond input features to study the effects of abstract, real-world concepts on model behavior. We use CEBaB to compare the quality of a range of concept-based explanation methods covering different assumptions and conceptions of the problem, and we seek to establish natural metrics for comparative assessments of these methods.

研究の動機と目的

• NLPにおける概念ベースの説明手法を評価するための標準化された、現実世界のベンチマークの不足に対処すること。
• モデルの説明を因果推論問題として定式化し、現実世界の概念がモデルの予測に与える影響を推定すること。
• 人間が検証した反事後的テキストを備えた豊富で構造化されたデータセットを提供し、説明手法の因果的評価を支援すること。
• 概念ベースの説明手法の質を評価するための自然で比較可能な指標を定義すること。
• 現実世界のデータと因果推定を用いて、TCAV、ConceptSHAP、LIMEなどの手法を公平に、実証的に比較可能にすること。

提案手法

• CEBaBは、2,299件のオリジナルのOpenTableレビューを、料理、サービス、雰囲気、騒音の4つのアスペクトを対象として、クラウドソーシングによる反事後的編集を用いて15,089件のテキストに拡張することで構築された。
• 各レビューは、アスペクトレベルの感情（+、–、unk）および全体の感情（1〜5つ星）でアノテートされており、各テキストごとに5名のクラウドワーカーによる検証が行われた。
• 特定の概念に干渉しながら他の要因を一定に保つことで、因果推定が可能となり、モデル出力に対する個々の概念の効果を推定できる。
• 説明手法の評価には、ICaCE（Interventional Conceptual Causal Effect）指標が用いられ、概念に干渉した際のモデル出力の変化をいかに正確に予測できるかを測定する。
• TCAV、ConceptSHAP、LIMEは、同じ因果推定フレームワークに適合させ、正規化と一貫したハイパーパrameterを用いて、公平な比較が可能になった。
• 概念の方向性は、ラベル付きアスペクトデータに基づくSVMを用いたCAVから学習され、概念表現の質を検証するための完全性スコアが計算された。

実験結果

リサーチクエスチョン

• RQ1 概念ベースの説明手法は、NLPモデルの予測に対する現実世界の概念の真の因果効果をどの程度正確に推定できるか？
• RQ2 TCAV、ConceptSHAP、LIMEは、現実世界のNLPデータにおける因果効果推定において、相対的にどの程度のパフォーマンスを示すか？
• RQ3 人間が検証した反事後的テキストを備えたベンチマークは、説明手法の信頼性と比較可能性のある評価指標を提供できるか？
• RQ4 完全性スコアとモデルのパフォーマンスは、因果効果推定の質とどの程度相関するか？
• RQ5 異なる説明手法は、概念を個別に変更した際の真の干渉効果をどの程度正しく捉えられるか？

主な発見

• CEBaBは、4つのアスペクトにわたる15,089組のテキストペア（オリジナルおよび反事後的）を含む豊富で検証済みのデータセットを提供し、正確な因果効果推定を可能にした。
• 料理、サービス、雰囲気、騒音の全概念セットについて、すべてのモデルで完全性スコアが0.9を超えており、優れた概念表現の質を示している。
• TCAV、ConceptSHAP、LIMEは、同じ因果推定フレームワークを用いて評価され、ICaCE推定精度に顕著な差が認められた。
• TCAVにおける正規化された方向微分とTanh正規化の使用により、確率ベースの因果指標との互換性が向上した。
• ConceptSHAPは、正確性比ではなく確率ベースの寄与度を出力するように変更され、他の因果推定器との直接比較が可能になった。
• ベンチマークにより、個々の概念の効果を分離可能であり、現実世界のNLPシナリオにおいて因果推定が実現可能で測定可能であることが示された。