[논문 리뷰] Causal Estimation for Text Data with (Apparent) Overlap Violations

Lin Gui, Victor Veitch|arXiv (Cornell University)|2022. 09. 30.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 텍스트 데이터에 대한 강건한 인과 추정 방법을 제안하며, 예를 들어 예의 바르게 행동하는 정도와 같은 속성을 텍스트의 결정적 함수로 간주할 때 흔히 발생하는 겹침 조건 위반 문제를 해결한다. 처리된 정보 예측에 유용한 정보를 제거하고, 혼란 요인과 관련된 특징만 유지하는 지도 학습 기반 표현 학습을 통해, 저편향 및 개선된 불확실성 정량화를 가능하게 하는 이중 기계 학습 추정을 실현한다. 이는 시뮬레이션과 소비자 불만 데이터를 활용한 실제 응용 사례에서 표준 결과물 전용 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Consider the problem of estimating the causal effect of some attribute of a text document; for example: what effect does writing a polite vs. rude email have on response time? To estimate a causal effect from observational data, we need to adjust for confounding aspects of the text that affect both the treatment and outcome -- e.g., the topic or writing level of the text. These confounding aspects are unknown a priori, so it seems natural to adjust for the entirety of the text (e.g., using a transformer). However, causal identification and estimation procedures rely on the assumption of overlap: for all levels of the adjustment variables, there is randomness leftover so that every unit could have (not) received treatment. Since the treatment here is itself an attribute of the text, it is perfectly determined, and overlap is apparently violated. The purpose of this paper is to show how to handle causal identification and obtain robust causal estimation in the presence of apparent overlap violations. In brief, the idea is to use supervised representation learning to produce a data representation that preserves confounding information while eliminating information that is only predictive of the treatment. This representation then suffices for adjustment and can satisfy overlap. Adapting results on non-parametric estimation, we find that this procedure is robust to conditional outcome misestimation, yielding a low-bias estimator with valid uncertainty quantification under weak conditions. Empirical results show strong improvements in bias and uncertainty quantification relative to the natural baseline.

연구 동기 및 목표

• 텍스트의 전부를 조정할 경우 처리가 텍스트에 결정적으로 함수화되어 겹침 조건을 위반하는 텍스트 데이터에서 인과 추정의 과제를 해결하기 위해.
• 처리가 텍스트의 결정적 함수일 경우에도 식별 가능한 인과 추정량을 정의하기 위해.
• 혼란 요인을 유지하고 처리 예측 정보를 제거하는 텍스트 표현을 학습함으로써 겹침 조건을 보장하는 이중 단계 추정 절차를 설계하기 위해.
• 결과 모델 수렴 속도가 느릴 경우에도 강건성을 확보하여 낮은 절대 편향과 유효한 불확실성 정량화를 달성하기 위해.
• 편향과 커버리지 정확도 측면에서 표준 결과물 전용 추정기보다 우월함을 실증적으로 검증하기 위해.

제안 방법

• 원시 텍스트를 낮은 차원의 표현으로 매핑하는 지도 학습 기반 표현 학습을 사용하여, 혼란 요인 정보는 유지하면서 처리 예측 정보는 제거한다.
• 이러한 학습된 표현을 이중 기계 학습(이중-ML) 프레임워크의 조정 변수로 사용하여 인과 추정을 실현한다.
• 표현이 처리를 완벽하게 예측하지 못하므로, 겹침 조건을 설계상으로 보장하며 인과 추정의 식별 조건을 충족한다.
• 비모수 추정 이론 결과를 활용하여, 결과 모델 수렴 속도가 약한 조건(예: $n^{1/4}$ 속도)에서도 추정기의 $√{n}$ 수렴 속도를 확보함을 보여준다.
• 학습된 표현을 사용해 AIPTW(보정된 역확률가중치) 추정기를 적용하여 통제된 직접 효과를 추정한다.
• 다양한 랜덤 시드에 걸쳐 진단 및 모델 평균화를 적용하여 추정의 강건성과 분산 감소를 도모한다.

실험 결과

연구 질문

• RQ1 관찰적 텍스트 데이터에서 언어적 속성(예: 예의 바르기)이 결과(예: 응답 시간)에 영향을 미치는 인과 효과를 겹침 위반으로 인해 명백하게 위반되는 상황에서도 일관되게 추정할 수 있는가?
• RQ2 처리가 텍스트의 결정적 함수일 경우에도 식별 가능한 인과 추정량을 어떻게 정의할 수 있는가?
• RQ3 혼란 요인 제어를 유지하면서 겹침 위반을 피할 수 있는 표현 학습 전략은 무엇인가?
• RQ4 고도의 혼란 요인이 존재하는 상황에서, 제안된 방법이 결과물 전용 추정보다 낮은 편향과 더 나은 불확실성 정량화를 제공하는가?
• RQ5 더 정확한 조건부 결과 모델이 존재할 경우 추정기 성능은 어느 정도 향상되는가?

주요 결과

• 제안된 TI-추정기는 특히 중간에서 높은 혼란 요인 상황에서 결과물 전용 추정기보다 유의미하게 낮은 절대 편향을 기록했다.
• TI-추정기의 신뢰구간은 결과물 전용 기준 대비 실제 인과 효과를 더 높은 비율로 커버했으며, 후자는 매우 낙관적인 커버리지를 보였다.
• 명목상 95% 커버리지에도 불구하고 TI-추정기의 실제 커버리지는 목표치 이하였으며, 이는 모델 피팅에서 발생하는 불확실성 요인이 여전히 제한 요소임을 시사한다.
• 실제 소비자 불만 데이터에 대한 응용에서, TI-추정기는 예의 바르기와 적시 응답 사이에 양의 인과 효과를 추정했다(추정치: 0.200, 95% 신뢰구간: [0.1708, 0.2288]), 반면 난이도 있는 추정기는 잘못된 음성 효과를 시사했다.
• 진단 결과에 따르면, 더 정확한 조건부 결과 추정이 이루어질수록 편향 감소와 커버리지 증가가 관찰되어, 방법의 성능 향상이 결과 모델의 정확도 향상과 관련이 있음을 확인했다.
• 계산 비용이 높은 부트스트랩핑을 피하면서도, 결과 모델의 수렴 속도가 느릴 경우에도 유효성이 유지되어 딥 러닝 모델과의 실용적 활용이 가능하다.