[論文レビュー] Towards Trustworthy Explanation: On Causal Rationalization

Wenbo Zhang, Tong Wu+3 more|arXiv (Cornell University)|Jun 25, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、構造的因果モデルを活用して、因果的所望事項（非便宜性および効率性）を満たす信頼できる非便宜的根拠を特定する、新たなフレームワークである因果的合理化（causal rationalization）を提案する。確率的因果関係（例：CPNS）を導入し、相関の高いが便宜的でない代替要因とは区別して真の因果的根拠を特定することで、関連性に基づく手法に比べて、レビューおよび医療データセットにおいて優れた忠実性と一般化性能を達成する。

ABSTRACT

With recent advances in natural language processing, rationalization becomes an essential self-explaining diagram to disentangle the black box by selecting a subset of input texts to account for the major variation in prediction. Yet, existing association-based approaches on rationalization cannot identify true rationales when two or more snippets are highly inter-correlated and thus provide a similar contribution to prediction accuracy, so-called spuriousness. To address this limitation, we novelly leverage two causal desiderata, non-spuriousness and efficiency, into rationalization from the causal inference perspective. We formally define a series of probabilities of causation based on a newly proposed structural causal model of rationalization, with its theoretical identification established as the main component of learning necessary and sufficient rationales. The superior performance of the proposed causal rationalization is demonstrated on real-world review and medical datasets with extensive experiments compared to state-of-the-art methods.

研究の動機と目的

• 相関に基づく合理化手法が、相関の高いが便宜的なスニペットと真の因果的根拠を区別できないという限界を解消すること。
• 非便宜性（因果的関連性）と効率性（重複なし）という2つの因果的所望事項を用いて、因果的根拠を形式化すること。
• 必要および十分な根拠の理論的同定を可能にする、合理化のための構造的因果モデル（SCM）を構築すること。
• 医療などのハイリスクなNLP応用におけるモデル信頼性を高めることで、根拠が単なる統計的関連性ではなく、真の因果的メカニズムを反映することを保証すること。

提案手法

• 入力スニペット、結果、予測子の間の因果的関係をモデル化する、合理化のための構造的因果モデル（SCM）を提案する。
• 因果確率の主要な定義を提示し、反事後的介入から導出されるCPNS（必要かつ十分要因の因果的確率）を含む。
• 無視可能性仮定を用いて、介入下での結果確率の差分としてCPNSを同定する：P(Y=y|Zj=zj, Z−j=z−j, X=x) − P(Y=y|Zj≠zj, Z−j=z−j, X=x)。
• 単調性および一貫性仮定を適用してCPNSを導出し、境界を設定することで、因果的根拠の理論的同定を保証する。
• 因果的根拠同定を、選択・予測フレームワークに統合し、標準的な関連性に基づく選択器の代わりに因果に配慮した選択器を導入する。
• 反事後的推論を用いて、各スニペットが結果予測において必要かつ十分であるかを評価し、因果的メカニズムへの忠実性を確保する。

実験結果

リサーチクエスチョン

• RQ1 非便宜性および効率性という因果的所望事項を、NLPにおける説明の信頼性を向上させるために、合理化に形式的に組み込むことができるか？
• RQ2 構造的因果モデルにおける因果確率を、理論的に同定および推定する方法は何か？
• RQ3 入力スニペットが相関が強い状況下でも、因果的合理化は忠実で重複のない根拠を、関連性に基づく手法よりも優れて同定できるか？
• RQ4 分布シフト下でも、因果的合理化は標準的な合理化手法に比べて一般化性能をどの程度向上させるか？
• RQ5 提案された因果確率（例：CPNS）は、便宜的でない代替要因と比較して、真に必要かつ十分な根拠を選択するのにどのように寄与するか？

主な発見

• 提案された因果的合理化手法は、最先端の関連性ベースのベースラインに比べ、レビューおよび医療データセットにおいて顕著に高い忠実性と優れた一般化性能を達成する。
• YelpおよびIMDBレビュー・データセットでは、因果的合理化は、予測精度を維持しながら、根拠選択のF1スコアでベースラインを上回る。
• MIMIC-III医療データセットでは、臨床的に意味のある根拠を同定し、専門家がアノテートした患者の結果要因と整合する。
• 本手法は分布シフト下でも頑健である。テストデータの分布が学習データと異なる場合でも、関連性に基づくモデルが便宜的特徴に依存するのとは異なり、高い性能を維持する。
• 理論的分析により、CPNSが標準的な因果的仮定のもとで同定可能であることが確認され、入力スニペットの因果的関連性の信頼できる推定が可能になる。
• 実験的結果から、因果的合理化は便宜的で相関の高い特徴への依存を低減することが示された。例として、ビールレビューにおいて「不快な香り」（真の因果的要因）と「口当たり」（因果的でないが相関のある特徴）を明確に区別できる。