[論文レビュー] Adapting Text Embeddings for Causal Inference

Victor Veitch, Dhanya Sridhar+1 more|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 28被引用数 51

ひとこと要約

本論文は、監視付き言語表現と因果調整を結合することにより、観測テキストから因果効果を識別・推定するための、因果的に十分なテキスト埋め込み（C-BERT および Causal ATM）を開発している。経験的な半合成実験は、言語モデリングと監視が、ベースラインよりも因果効果の推定を改善することを示している。

ABSTRACT

Does adding a theorem to a paper affect its chance of acceptance? Does labeling a post with the author's gender affect the post popularity? This paper develops a method to estimate such causal effects from observational text data, adjusting for confounding features of the text such as the subject or writing quality. We assume that the text suffices for causal adjustment but that, in practice, it is prohibitively high-dimensional. To address this challenge, we develop causally sufficient embeddings, low-dimensional document representations that preserve sufficient information for causal identification and allow for efficient estimation of causal effects. Causally sufficient embeddings combine two ideas. The first is supervised dimensionality reduction: causal adjustment requires only the aspects of text that are predictive of both the treatment and outcome. The second is efficient language modeling: representations of text are designed to dispose of linguistically irrelevant information, and this information is also causally irrelevant. Our method adapts language models (specifically, word embeddings and topic models) to learn document embeddings that are able to predict both treatment and outcome. We study causally sufficient embeddings with semi-synthetic datasets and find that they improve causal estimation over related embedding methods. We illustrate the methods by answering the two motivating questions---the effect of a theorem on paper acceptance and the effect of a gender label on post popularity. Code and data available at https://github.com/vveitch/causal-text-embeddings-tf2}{github.com/vveitch/causal-text-embeddings-tf2

研究の動機と目的

• テキストにエンコードされた混乱要因を含む観測テキストから因果効果を推定する問題を動機づける。
• 因果調整に必要な情報を保持しつつ、言語的に無関係な内容を廃棄する因果的に十分な埋め込みを提案する。
• テキスト埋め込みから処置と結果を予測する、2つの具体的な埋め込みアプローチ（Causal BERT と Causal ATM）を開発する。
• 埋め込みでの調整がいつ、なぜ因果識別と推定に十分かを示す形式的妥当性の議論を提供する。
• 半合成実験で手法を評価し、動機づけとなる応用（論文受理と Reddit 投稿スコア）を例示する。

提案手法

• Wを文書テキストとして用い、混乱因子としてテキストを使用するATTとNDEを用いた因果推定の設定を定義する。
• 傾向スコアと結果モデルに必要な情報を捉える因果的に十分な低次元埋め込みとして z = f(W) を導入する。
• 処置と結果の両方を予測する埋め込みを学習するよう言語モデルを適応させる（監視付き次元削減）。
• Causal BERTを実装し、BERTベースのモデルをファインチューニングして文書埋め込みを生成し、それを傾向スコアと結果のための g(λ) および Q(t, λ) に写像する。
• Causal Amortized Topic Model (Causal ATM) を実装し、ATM を適応させて θi 埋め込みを生成し、それを g(θi) および Q(ti, θi) に学習写像する。
• 言語モデリングと処置/結果の予測を結びつける共同訓練目的を提供し（重複の考慮を含む）。
• 前提条件の下で λ(W) が識別と一貫した推定に十分であることを示す定理 3.1 および 3.2 を含む理論結果を提示する。

実験結果

リサーチクエスチョン

• RQ1 言語的に意味があり、かつ調整のために因果的に十分なテキスト埋め込みを学習できるか？
• RQ2 教師ありで言語を意識した表現（教師なし埋め込みとは異なる）が、テキストからの因果効果推定を改善するか？
• RQ3 半合成設定と実世界の動機づけタスク（論文受理と Reddit 投稿スコア）で Causal BERT および Causal ATM はどのように機能するか？
• RQ4 埋め込みの調整が因果効果の識別と一貫した推定に十分になる条件は何か？

主な発見

• 言語モデリングは、非言語モデルのベースラインと比較して因果効果推定を改善する。
• 教師付き表現（C-BERT、Causal ATM）は、半合成実験において、教師なしまたは純粋に予測的なベースラインよりも優れている。
• C-BERT および C-ATM は、混同行のレベルと結果ノイズの変化にかかわらず、テキストの混乱を効果的に調整する。
• これらの手法はバイアスのある処置効果の推定を低減し、Reddit および PeerRead のシミュレーションにおいて真の値に近い近似を提供する。
• 動機づけとなる例に手法を適用すると、テキストに見られる処置効果の多くが、テキストによって媒介される混乱因子に起因することが示唆される。