[論文レビュー] Causal Estimation for Text Data with (Apparent) Overlap Violations

Lin Gui, Victor Veitch|arXiv (Cornell University)|Sep 30, 2022

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

本稿では、テキストデータにおける因果推定のための頑健な手法を提案する。この手法は、丁寧さなどの属性をテキストの決定的関数として扱う場合にしばしば生じる重複度（overlap）の違反を解消する。教師あり表現学習を用いて交絡要因に関連する特徴を抽出すると同時に、処置予測に寄与する情報を排除することで、低いバイアスと改善された不確実性の定量化を実現する二重マシンラーニング推定が可能になる。シミュレーションおよび消費者苦情データを用いた実世界の応用において、標準的な結果のみを用いるベースラインより優れた性能を示す。

ABSTRACT

Consider the problem of estimating the causal effect of some attribute of a text document; for example: what effect does writing a polite vs. rude email have on response time? To estimate a causal effect from observational data, we need to adjust for confounding aspects of the text that affect both the treatment and outcome -- e.g., the topic or writing level of the text. These confounding aspects are unknown a priori, so it seems natural to adjust for the entirety of the text (e.g., using a transformer). However, causal identification and estimation procedures rely on the assumption of overlap: for all levels of the adjustment variables, there is randomness leftover so that every unit could have (not) received treatment. Since the treatment here is itself an attribute of the text, it is perfectly determined, and overlap is apparently violated. The purpose of this paper is to show how to handle causal identification and obtain robust causal estimation in the presence of apparent overlap violations. In brief, the idea is to use supervised representation learning to produce a data representation that preserves confounding information while eliminating information that is only predictive of the treatment. This representation then suffices for adjustment and can satisfy overlap. Adapting results on non-parametric estimation, we find that this procedure is robust to conditional outcome misestimation, yielding a low-bias estimator with valid uncertainty quantification under weak conditions. Empirical results show strong improvements in bias and uncertainty quantification relative to the natural baseline.

研究の動機と目的

• テキスト内容をすべて調整すると、処置の割り当てが決定的であるため、重複度仮定が破られるテキストデータにおける因果推定の課題に対処すること。
• 処置がテキストの決定的関数である場合でも同定可能である形式的な因果推定量を定義すること。
• 交絡要因を保持するが処置に依存しないテキスト表現を学習することで、重複度を確保する二段階推定手順を設計すること。
• 結果モデルの収束が遅い場合にも頑健性を確保し、低い絶対バイアスと妥当な不確実性の定量化を達成すること。
• 絶対バイアスとカバレッジ精度において、標準的な結果のみの推定器よりも優れた性能を実証的に検証すること。

提案手法

• 教師あり表現学習を用いて、交絡要因に関連する情報を保持するが処置予測に寄与する情報を除去する低次元表現に、生のテキストを写像する。
• 学習されたこの表現を、二重マシンラーニング（二重-ML）フレームワークにおける調整変数として適用し、因果推定を可能にする。
• 表現が処置を完全に予測しないため、設計上重複度が確保され、同定に必要な重複度条件を満たす。
• 非パラメトリック推定の理論的結果を活用し、結果モデルの収束が弱い条件（n^{1/4} のレート）のもとでも、推定量が \sqrt{n} のレートで収束することを示す。
• 学習された表現を用いてAIPTW（拡張逆確率重み付け）推定量を推定し、制御直接効果を推定する。
• 複数のランダムシードにおける診断とモデル平均化を適用し、推定の頑健性を高め、分散を低減する。

実験結果

リサーチクエスチョン

• RQ1 観察的テキストデータにおいて、処置がテキストの決定的関数である場合でも、言語的属性（例：丁寧さ）が結果（例：応答時間）に与える因果効果を一貫して推定できるか。
• RQ2 処置がテキストの決定的関数である場合でも、同定可能である因果推定量をどのように定義できるか。
• RQ3 どの表現学習戦略が、交絡要因の制御を保持しつつ重複度違反を回避することで、妥当な因果推定を可能にするか。
• RQ4 高水準の交絡が存在する状況において、提案手法が結果のみの推定よりも低いバイアスとより良い不確実性の定量化を達成するか。
• RQ5 より正確な条件付き結果モデルが得られた場合、推定量の性能はどの程度向上するか。

主な発見

• 提案されたTI推定量は、特に中程度から高い交絡が存在する状況において、結果のみの推定量よりも顕著に低い絶対バイアスを達成した。
• TI推定量の信頼区間は、結果のみのベースラインと比べて真の因果効果をはるかに高い頻度でカバーしており、後者は非常に楽観的なカバレッジを示した。
• 名目上の95％カバレッジであったにもかかわらず、TI推定量の実際のカバレッジは目標を下回っており、モデルフィッティングからの不確実性が依然として制限要因であることを示唆している。
• 実世界の消費者苦情データへの応用では、TI推定量は丁寧さが適切な応答時間に与える因果効果を正の値で推定した（推定値：0.200、95％信頼区間：[0.1708, 0.2288]）。一方、ナイーブ推定量は誤って負の効果を示した。
• 診断結果から、より正確な条件付き結果推定が得られた場合、バイアスは低減し、カバレッジは向上することを示しており、手法の性能が結果モデルの適合度に依存して向上することを裏付けた。
• 計算コストの高いブートストラップを回避しつつ、結果モデルの収束が遅くても有効であり、ディープラーニングモデルを用いた実用的応用が可能である。