[논문 리뷰] How to Make Causal Inferences Using Texts

Naoki Egami, Christian Fong외 3명|arXiv (Cornell University)|2018. 02. 06.

Computational and Text Analysis Methods참고 문헌 39인용 수 60

한 줄 요약

본 논문은 텍스트를 결과나 처리로 사용할 때 인과 추론을 가능하게 하는 저차원 텍스트 표현(g)을 학습하기 위한 프레임워크를 제공하고, train/test 분할을 통해 식별성과 과적합을 다루며, 텍스트를 결과로 하는 설정과 텍스트를 처리로 하는 설정에서의 응용을 보여준다.

ABSTRACT

New text as data techniques offer a great promise: the ability to inductively discover measures that are useful for testing social science theories of interest from large collections of text. We introduce a conceptual framework for making causal inferences with discovered measures as a treatment or outcome. Our framework enables researchers to discover high-dimensional textual interventions and estimate the ways that observed treatments affect text-based outcomes. We argue that nearly all text-based causal inferences depend upon a latent representation of the text and we provide a framework to learn the latent representation. But estimating this latent representation, we show, creates new risks: we may introduce an identification problem or overfit. To address these risks we describe a split-sample framework and apply it to estimate causal effects from an experiment on immigration attitudes and a study on bureaucratic response. Our work provides a rigorous foundation for text-based causal inferences.

연구 동기 및 목표

• 인과 분석을 위해 텍스트를 저차원 표현으로 압축하는 코드북 함수 g의 중심 역할과 특성을 정의한다.
• 데이터에서 학습된 g일 때 발생하는 식별 및 추정 문제(AISV와 과적합)를 설명한다.
• g의 발견(학습)과 인과 효과의 추정을 분리하기 위한 train/test 분할 절차를 제안한다.
• 텍스트가 결과이거나 처리인 설정에서 분할 샘플 접근법이 유효한 인과 추론을 어떻게 보장하는지 보여준다.
• 텍스트를 결과로서와 텍스트를 처리로서로 하는 응용으로 방법을 설명한다.

제안 방법

• 고차원 텍스트를 인과 분석을 위한 저차원 Z 공간으로 압축하는 코드북 함수 g를 도입한다.
• 데이터에서 학습된 g를 사용할 때 발생하는 문제를 설명한다. 여기에는 Analyst Induced SUTVA Violations(AISV) 및 과적합이 포함된다.
• g 발견(훈련 세트)과 인과 추정(테스트 세트)을 분리하기 위한 train/test 분할 절차를 제안한다.
• 텍스트를 결과로서와 처리로서로 가정할 때의 추정량을 정의하고, 이진 결과나 처리일 때의 ATE의 명시적 형태를 제시한다.
• 분할 샘플 접근법 구현을 위한 실용적 단계와 트레이드오프를 개략적으로 제시한다.

실험 결과

연구 질문

• RQ1 연구자들이 텍스트에서 도출된 측정치 g가 데이터에서 발견될 때 어떻게 안정적으로 인과 효과를 식별할 수 있는가?
• RQ2 train/test 분할이 텍스트 기반 인과 추론에서 AISV와 과적합을 어떻게 완화하는가?
• RQ3 텍스트 함수 g가 저차원 표현으로 매핑될 때 적합한 추정량과 추정량은 무엇인가?
• RQ4 텍스트가 결과이거나 처리일 때 프레임워크를 어떻게 적용할 수 있는가?
• RQ5 텍스트 분석에서 분할 샘플 절차를 구현하는 데 필요한 실용적 고려사항과 한계는 무엇인가?

주요 결과

• 코드북 함수 g는 텍스트를 처리나 결과로 사용되는 저차원 표현으로 매핑하는 데 필수적이다.
• 데이터에서 발견된 g를 사용하면 AISV를 유도하고 과적합으로 이어져 식별과 추정을 복잡하게 한다.
• train/test 분할은 발견과 추정을 분리하여 AISV를 해결하고 보류된 테스트 세트에서 패턴을 검증함으로써 과적합을 줄인다.
• g를 테스트 세트에서 평가하기 전에 고정하면 ATE에 대한 일관되거나 편향되지 않은 추정치를 얻을 수 있다.
• 텍스트가 결과로, 또는 텍스트가 처리로서의 응용으로 프레임워크를 시연한다.
• 분할 샘플 텍스트 기반 인과 추론을 구현하기 위한 형식적 절차와 가정이 제공된다.