[论文解读] Causal Estimation for Text Data with (Apparent) Overlap Violations

Lin Gui, Victor Veitch|arXiv (Cornell University)|Sep 30, 2022

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出了一种针对文本数据的稳健因果估计方法，解决了在将礼貌程度等属性视为文本的确定性函数时常见的重叠性违反问题。通过使用监督表示学习提取与混淆因素相关的特征，同时剔除与处理相关的预测信息，该方法实现了低偏差的双机器学习估计，并改善了不确定性量化，在模拟实验和消费者投诉数据的真实应用场景中，优于标准的结果仅基线方法。

ABSTRACT

Consider the problem of estimating the causal effect of some attribute of a text document; for example: what effect does writing a polite vs. rude email have on response time? To estimate a causal effect from observational data, we need to adjust for confounding aspects of the text that affect both the treatment and outcome -- e.g., the topic or writing level of the text. These confounding aspects are unknown a priori, so it seems natural to adjust for the entirety of the text (e.g., using a transformer). However, causal identification and estimation procedures rely on the assumption of overlap: for all levels of the adjustment variables, there is randomness leftover so that every unit could have (not) received treatment. Since the treatment here is itself an attribute of the text, it is perfectly determined, and overlap is apparently violated. The purpose of this paper is to show how to handle causal identification and obtain robust causal estimation in the presence of apparent overlap violations. In brief, the idea is to use supervised representation learning to produce a data representation that preserves confounding information while eliminating information that is only predictive of the treatment. This representation then suffices for adjustment and can satisfy overlap. Adapting results on non-parametric estimation, we find that this procedure is robust to conditional outcome misestimation, yielding a low-bias estimator with valid uncertainty quantification under weak conditions. Empirical results show strong improvements in bias and uncertainty quantification relative to the natural baseline.

研究动机与目标

• 解决在文本数据中进行因果估计时的挑战，即当所有文本内容均被调整时，由于处理分配的确定性，违反了重叠性假设。
• 提出一个形式化的因果 estimand，即使在看似违反重叠性的情况下仍保持可识别性。
• 设计一种两阶段估计程序，通过学习保留混淆因素信息但与处理无关的文本表示，确保重叠性。
• 实现对结果模型收敛缓慢的鲁棒性，确保低绝对偏差和有效的不确定性量化。
• 通过实证验证该方法在偏差和覆盖率准确性方面优于标准的结果仅估计器。

提出的方法

• 使用监督表示学习将原始文本映射为低维表示，该表示保留混淆信息但去除对处理具有预测性的信息。
• 将此学习到的表示作为双机器学习（双-ML）框架中的调整变量，以实现因果估计。
• 通过设计确保重叠性，因为该表示并非对处理具有完全预测性，从而满足识别所需的重叠条件。
• 利用非参数估计的理论结果，证明在结果模型收敛速度较弱（$n^{1/4}$ 速率）的条件下，估计器可实现 $\sqrt{n}$-速率收敛。
• 使用 AIPTW（增广逆概率加权）估计器结合学习到的表示，估计控制直接效应。
• 通过在多个随机种子上应用诊断和模型平均，提高估计的鲁棒性并降低方差。

实验结果

研究问题

• RQ1 在存在明显重叠性违反的情况下，能否在观察性文本数据中一致估计出语言属性（如礼貌程度）对结果（如响应时间）的因果效应？
• RQ2 当处理是文本的确定性函数时，如何定义一个在该情况下仍保持可识别性的因果 estimand？
• RQ3 何种表示学习策略可通过保留混淆控制同时避免重叠性违反，实现有效的因果估计？
• RQ4 在高混淆设定下，该方法是否能实现比仅基于结果的估计更低的偏差和更好的不确定性量化？
• RQ5 当条件结果模型更准确时，估计器性能的提升程度如何？

主要发现

• 所提出的 TI-估计器在中等到高混淆情况下，绝对偏差显著低于仅基于结果的估计器。
• TI-估计器的置信区间在远高于复制次数的比例中覆盖了真实因果效应，而仅基于结果的基线则表现出极度乐观的覆盖率。
• 尽管名义上为 95% 覆盖率，TI-估计器的实际覆盖率低于目标值，表明模型拟合带来的不确定性仍是主要限制因素。
• 在消费者投诉的真实应用场景中，TI-估计器估计出礼貌程度对及时响应具有正向因果效应（估计值：0.200，95% 置信区间：[0.1708, 0.2288]），而朴素估计器错误地提示负向效应。
• 诊断结果表明，随着条件结果估计更准确，方法性能提升，偏差降低且覆盖率提高。
• 该方法避免了计算成本高昂的自助法（bootstrapping），即使在结果模型收敛缓慢时仍保持有效性，使得其在深度学习模型中具有实际应用价值。