[論文レビュー] How to Make Causal Inferences Using Texts

Naoki Egami, Christian Fong+3 more|arXiv (Cornell University)|Feb 6, 2018

Computational and Text Analysis Methods参考文献 39被引用数 60

ひとこと要約

この論文は、低次元のテキスト表現 g を学習する枠組みを提供し、テキストを結果または処置として因果推論を可能にし、識別と過適合を訓練/テスト分割で対処し、テキストを結果としてと処置としての設定での応用を実証する。

ABSTRACT

New text as data techniques offer a great promise: the ability to inductively discover measures that are useful for testing social science theories of interest from large collections of text. We introduce a conceptual framework for making causal inferences with discovered measures as a treatment or outcome. Our framework enables researchers to discover high-dimensional textual interventions and estimate the ways that observed treatments affect text-based outcomes. We argue that nearly all text-based causal inferences depend upon a latent representation of the text and we provide a framework to learn the latent representation. But estimating this latent representation, we show, creates new risks: we may introduce an identification problem or overfit. To address these risks we describe a split-sample framework and apply it to estimate causal effects from an experiment on immigration attitudes and a study on bureaucratic response. Our work provides a rigorous foundation for text-based causal inferences.

研究の動機と目的

• 因果分析のためにテキストを低次元表現に圧縮するコードブック関数 g の中心的な役割と特性を定義する。
• データから学習された g のときに生じる識別と推定の課題（AISVと過適合）を説明する。
• g の発見（訓練セット）を因果効果の推定（テストセット）から分離する訓練/テスト分割手順を提案する。
• テキストが結果または処置である設定において、分割サンプル法が妥当な因果推論をもたらす方法を示す。
• テキストを結果としてと処置としての応用で方法を例示する。

提案手法

• 因果分析のために高次元のテキストを低次元の Z 空間へ圧縮するコードブック関数 g を導入する。
• データから学習された g の使用によって生じる問題を説明する。これには Analyst Induced SUTVA Violations（AISV）と過適合が含まれる。
• g の発見（訓練セット）と因果推定（テストセット）を分離する訓練/テスト分割手順を提案する。
• テキストを結果として、またはテキストを処置としての下での estimands を定義し、2値の結果または処置に対するATE の明示的な形を示す。
• 分割サンプルアプローチを実装する実用的な手順を概説し、トレードオフを論じる。

実験結果

リサーチクエスチョン

• RQ1 研究者はデータから発見された g によって導出された因果効果をどのように信頼性高く識別できるか。
• RQ2 訓練/テスト分割はテキストベースの因果推論における AISV と過適合をどのように軽減するのか。
• RQ3 テキスト関数 g が低次元表現に写像する場合、適切な estimands と estimators は何か。
• RQ4 テキストが結果または処置である場合、フレームワークはどのように適用できるか。
• RQ5 テキスト分析における分割サンプル手順の実装上の実務的配慮と制限は何か。

主な発見

• コードブック関数 g は、テキストを処置または結果として用いる低次元表現へ写像するために不可欠である。
• データから発見された g を使用すると AISV を誘発し、過適合を引き起こして識別と推定を複雑にする。
• 訓練/テスト分割は発見と推定を分離し、AISV に対処し、保留テストセットでパターンを検証することによって過適合を減少させる。
• g が評価前に固定されていれば、ATE の推定量は一貫性があるか、または不偏になる。
• フレームワークは、テキストが結果として機能する場合とテキストが処置として機能する場合の応用で示されている。
• 分割サンプルのテキストベースの因果推論を実装するための正式な手順と仮定が提供されている。