[論文レビュー] ROCK: Causal Inference Principles for Reasoning about Commonsense Causality

Jiayao Zhang, Hongming Zhang+2 more|arXiv (Cornell University)|Jan 31, 2022

Topic Modeling被引用数 6

ひとこと要約

ROCKは、潜在的アウトカムと時系列傾向スコアを用いてイベント因果関係をモデル化することで、常識的因果推論（CCR）のための新しい因果推論フレームワークを提案する。事前学習済み言語モデルを用いて干渉効果を推定するとともに、時系列傾向マッチングにより交絡要因を軽減し、CCRベンチマークで優れたゼロショット性能を達成する。

ABSTRACT

Commonsense causality reasoning (CCR) aims at identifying plausible causes and effects in natural language descriptions that are deemed reasonable by an average person. Although being of great academic and practical interest, this problem is still shadowed by the lack of a well-posed theoretical framework; existing work usually relies on deep language models wholeheartedly, and is potentially susceptible to confounding co-occurrences. Motivated by classical causal principles, we articulate the central question of CCR and draw parallels between human subjects in observational studies and natural languages to adopt CCR to the potential-outcomes framework, which is the first such attempt for commonsense tasks. We propose a novel framework, ROCK, to Reason O(A)bout Commonsense K(C)ausality, which utilizes temporal signals as incidental supervision, and balances confounding effects using temporal propensities that are analogous to propensity scores. The ROCK implementation is modular and zero-shot, and demonstrates good CCR capabilities.

研究の動機と目的

• 自然言語処理における常識的因果推論（CCR）のための形式的理論的枠組みの欠如に応えること。
• 潜在的アウトカムフレームワークを用いて自然言語イベントにおける因果関係をモデル化し、言語シーケンスを観測単位として扱うこと。
• 時系列傾向スコアを共変量のバランス調整の代理として用いることで、CCRにおける誤った相関（交絡共起）を軽減すること。
• 事前学習済み言語モデルと時系列順序を便宜的監視として活用することで、ゼロショットCCRを可能にすること。
• 自然言語のイベント間における因果効果を推定するためのモジュラーで理論的根拠を持つアプローチを提供すること。

提案手法

• 因果推論の潜在的アウトカムフレームワークを用いて、平均処置効果（ATE）の推定としてCCRを形式化し、処置は原因イベントE1を干渉することを意味する。
• 因果推定量を∆ = P(E1 ≺ E2) − P(¬E1 ≺ E2)として定義し、事前学習済み言語モデルにおけるマスキング言語モデルによる確率推定を用いる。
• 傾向スコアの代替として時系列傾向スコアを導入し、事前イベント共変量の分布から計算することで、交絡要因をバランスさせる。
• 時系列傾向スコアに基づく最近傍マッチングを用いて、因果効果推定のためのバランスの取れた処置群と対照群を構築する。
• モジュラーなパイプラインを採用：(1) イベントペアと事前共変量を抽出、(2) 時系列傾向スコアを計算、(3) 干渉をマッチング、(4) LMsを用いてP(E1 ≺ E2)とP(¬E1 ≺ E2)を推定。
• 微調整を一切行わず、事前学習済みモデルと時系列構造に依存するゼロショット設定でフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 常識的因果推論は、因果推論の潜在的アウトカムフレームワークを用いて形式化可能か？
• RQ2 ラベル付き因果関係アノテーションが存在しない状況で、自然言語の時系列順序を便宜的監視として活用し、因果推論に用いることができるか？
• RQ3 時系列傾向スコアは、たとえば人の空腹がイベント系列に与える影響など、CCRにおける交絡共起要因をどの程度軽減できるか？
• RQ4 因果推論の原則に基づくゼロショットフレームワークは、標準的な言語モデルベースラインを上回る性能を示せるか？
• RQ5 時系列順序だけでは因果関係を推論できない場合、誤った相関に対して本手法はどの程度頑健か？

主な発見

• ROCKはCOPAデータセットで最先端のゼロショット性能を達成し、事前学習済み言語モデルに依存する強力なベースラインを上回った。
• 本手法は、交絡要因に起因する誤った相関（例：空腹（X1）がレストランに入ること（E1）とピザを注文すること（E2）の因果的リンクを歪める影響）を顕著に低減した。
• 交絡がバランスされない場合、推定された因果効果∆はバイアスが生じるが、時系列傾向スコアに基づくマッチングを施すことで、効果推定はより信頼性が高く解釈可能になる。
• 時系列傾向スコアの使用により、処置群と対照群における共変量のバランスが効果的にとられ、因果効果推定のバイアスが低減した。
• 明示的な因果監視がなくても、時系列構造と言語モデルの確率を組み合わせることで、意味のある因果推論が得られることを示した。
• E1:「彼はポケットの穴を縫った」、E2:「男のポケットが歩いている間にきらきらと音を立てた」という例では、ROCKは「彼はポケットに何も入れていなかった」や「穴がなかった」などの共変量を考慮することで、因果的妥当性を正しく同定した。