[论文解读] Causal Inference in Natural Language Processing: Estimation, Prediction, Interpretation and Beyond

Amir Feder, Katherine A. Keith+11 more|arXiv (Cornell University)|Sep 2, 2021

Topic Modeling参考文献 93被引用 15

一句话总结

本综述通过将文本在因果模型中视为处理因素、结果或混杂因素，统一了因果推断与自然语言处理（NLP）。该方法使NLP系统具备更强的鲁棒性、公平性和可解释性。本文提出了从文本中估计因果效应的方法，并利用因果形式化提升模型可靠性，主要贡献涵盖方法论、基准测试以及未来研究的开放性挑战。

ABSTRACT

A fundamental goal of scientific research is to learn about causal relationships. However, despite its critical role in the life and social sciences, causality has not had the same importance in Natural Language Processing (NLP), which has traditionally placed more emphasis on predictive tasks. This distinction is beginning to fade, with an emerging area of interdisciplinary research at the convergence of causal inference and language processing. Still, research on causality in NLP remains scattered across domains without unified definitions, benchmark datasets and clear articulations of the challenges and opportunities in the application of causal inference to the textual domain, with its unique properties. In this survey, we consolidate research across academic areas and situate it in the broader NLP landscape. We introduce the statistical challenge of estimating causal effects with text, encompassing settings where text is used as an outcome, treatment, or to address confounding. In addition, we explore potential uses of causal inference to improve the robustness, fairness, and interpretability of NLP models. We thus provide a unified overview of causal inference for the NLP community.

研究动机与目标

• 将分散的NLP因果推断研究整合为统一框架。
• 解决在文本数据上应用因果推断时缺乏标准化定义、基准测试以及对挑战清晰表述的问题。
• 展示因果推断如何提升NLP模型的鲁棒性、公平性和可解释性。
• 通过在文本情境中形式化因果问题，弥合社会科学中的因果推断与NLP之间的差距。
• 识别在部分因果建模、未观测混杂因素以及扩展至结构化预测任务方面存在的开放性挑战。

提出的方法

• 通过将文本视为结构因果模型中的处理因素、结果或混杂因素，形式化NLP中的因果推断。
• 将标准因果推断技术（如潜在结果、do-演算和后门调整）应用于基于文本的数据。
• 利用NLP模型（如上下文嵌入、主题模型）估计反事实结果并度量语义混杂因素。
• 通过注意力机制和反事实扰动，将因果推理整合到模型解释中，以识别因果中介。
• 提出混合因果模型，连接高层次元数据（如作者身份）与中等规模的文本片段（如句子）。
• 倡导使用不变性准则和代理变量来处理现实NLP应用中的未观测混杂因素。

实验结果

研究问题

• RQ1 如何将因果推断应用于估计文本特征（如性别信号）对诸如帖子互动等结果的影响？
• RQ2 当文本作为混杂因素、处理因素或结果时，估计因果效应面临的关键挑战是什么？
• RQ3 因果形式化如何在分布偏移下提升NLP模型的鲁棒性和公平性？
• RQ4 因果建模在哪些方面可以增强注意力机制和模型解释的可解释性？
• RQ5 当存在未观测混杂因素时，如何安全地应用部分或不完整的因果模型？

主要发现

• 当文本被适当地建模为处理因素、结果或混杂因素时，可用来估计因果效应，但混杂是主要挑战。
• 因果推断通过整合关于数据生成过程和归纳偏置的领域知识，提升了模型的鲁棒性。
• 对NLP模型的反事实分析揭示了注意力机制中的因果路径，从而实现了更透明、更可信的解释。
• 现有的NLP方法（如上下文嵌入和主题模型）可被用于从高维文本中估计因果效应。
• 未观测混杂因素在NLP应用中仍是关键挑战，尤其当语义意图与读者理解不一致时。
• 将因果推断扩展至结构化预测任务仍是开放挑战，特别是在为序列输出定义有效不变性准则方面。