[논문 리뷰] Adapting Text Embeddings for Causal Inference

Victor Veitch, Dhanya Sridhar외 1명|arXiv (Cornell University)|2019. 05. 29.

Topic Modeling참고 문헌 28인용 수 51

한 줄 요약

이 논문은 관찰 텍스트에서 인과 효과를 식별하고 추정하기 위해 인과적으로 충분한 텍스트 임베딩(C-BERT 및 Causal ATM)을 개발하여 감독된 언어 표현과 인과 보정을 결합한다. 경험적 반합성 실험은 언어 모델링과 감독이 베 baseline 대비 인과 효과 추정 성능을 향상시킴을 보여준다.

ABSTRACT

Does adding a theorem to a paper affect its chance of acceptance? Does labeling a post with the author's gender affect the post popularity? This paper develops a method to estimate such causal effects from observational text data, adjusting for confounding features of the text such as the subject or writing quality. We assume that the text suffices for causal adjustment but that, in practice, it is prohibitively high-dimensional. To address this challenge, we develop causally sufficient embeddings, low-dimensional document representations that preserve sufficient information for causal identification and allow for efficient estimation of causal effects. Causally sufficient embeddings combine two ideas. The first is supervised dimensionality reduction: causal adjustment requires only the aspects of text that are predictive of both the treatment and outcome. The second is efficient language modeling: representations of text are designed to dispose of linguistically irrelevant information, and this information is also causally irrelevant. Our method adapts language models (specifically, word embeddings and topic models) to learn document embeddings that are able to predict both treatment and outcome. We study causally sufficient embeddings with semi-synthetic datasets and find that they improve causal estimation over related embedding methods. We illustrate the methods by answering the two motivating questions---the effect of a theorem on paper acceptance and the effect of a gender label on post popularity. Code and data available at https://github.com/vveitch/causal-text-embeddings-tf2}{github.com/vveitch/causal-text-embeddings-tf2

연구 동기 및 목표

• 관찰 텍스트에서 텍스트에 인코딩된 혼동 특성으로 인한 인과 효과 추정 문제의 동기를 제시한다.
• 인과 보정을 위해 필요한 정보를 보존하고 언어적으로 무의미한 콘텐츠를 버리는 인과적으로 충분한 임베딩을 제안한다.
• 텍스트 임베딩에서 치료 및 결과를 예측하기 위해 두 가지 구체적 임베딩 접근법(Causal BERT 및 Causal ATM)을 개발한다.
• 임의의 임베딩 보정으로도 인과 식별 및 추정이 정당화될 수 있는 경우를 형식적으로 제시한다.
• 반합성 실험에서 방법을 평가하고 (논문 채택 및 레딧 포스트 점수)와 같은 동기화된 적용 사례로 설명한다.

제안 방법

• W를 혼동 변수로 사용하는 인과 추정 설정을 ATT 및 NDE와 함께 정의한다.
• 질량 z = f(W)로, 기대값 모델의 성향 점수 및 결과 모델에 필요한 정보를 포착하는 인과적으로 충분한 저차원 임베딩을 도입한다.
• 치료 및 결과를 예측하는 임베딩을 학습하도록 언어 모델을 적응시킨다(감독된 차원 축소).
• Causal BERT를 구현하여 BERT 기반 모델을 미세조정하고 문서 임베딩을 생성하며 이를 g(λ) 및 Q(t, λ)로 매핑하여 성향 및 결과를 얻는다.
• Causal ATM을 구현하여 ATM을 적응시켜 θi 임베딩을 생성하고 이를 g(θi) 및 Q(ti, θi)로 학습된 매핑으로 연결한다.
• 언어 모델링과 치료/결과 예측을 함께 수행하는 공동 학습 목표를 제시하고 중첩(overlap) 고려를 포함한다.
• λ(W)가 주어진 조건 하에서 식별 및 일관된 추정을 보장한다는 이론적 결과(정리 3.1 및 3.2)를 제시한다.

실험 결과

연구 질문

• RQ1 텍스트 임베딩이 언어적으로 의미 있으면서 보정에 필요한 인과적으로 충분한가?
• RQ2 감독된, 언어 인식 표현이 텍스트에서 인과 효과 추정을 개선하는가?
• RQ3 Causal BERT 및 Causal ATM이 반합성 설정 및 실제 동기화 작업에서 어떻게 성능을 보이는가(논문 채택 및 레딧 포스트 점수)
• RQ4 임베딩을 보정하는 것이 인과 효과를 식별하고 일관되게 추정하는 데 충분한 조건은 무엇인가?

주요 결과

• 언어 모델링이 비-언어 모델 베이스라인에 비해 인과 효과 추정을 향상시킨다.
• 감독된 표현(C-BERT, Causal ATM)이 반합성 실험에서 비감독 또는 순수 예측 베이스라인보다 우수하다.
• C-BERT 및 C-ATM은 다양한 수준의 혼동 및 결과 노이즈에서도 텍스트의 혼동에 대해 효과적으로 보정한다.
• 이 방법들이 Reddit 및 PeerRead 시뮬레이션에서 편향된 치료 효과 추정을 감소시키고 ground truth에 더 근접한 근사치를 제공한다.
• 동기를 제공하는 예제에 방법을 적용하면 텍스트의 것으로 보이는 치료 효과의 상당 부분이 텍스트에 의해 매개된 혼동 때문임을 시사한다.