[논문 리뷰] Causal Inference in Natural Language Processing: Estimation, Prediction, Interpretation and Beyond

Amir Feder, Katherine A. Keith외 11명|arXiv (Cornell University)|2021. 09. 02.

Topic Modeling참고 문헌 93인용 수 15

한 줄 요약

이 종합 검토는 원인 인과론과 NLP를 통합하여 원인 인과 모델 내에서 텍스트를 치료, 결과 또는 혼동요인으로 프레임화함으로써 강력하고 공정하며 해석 가능한 NLP 시스템을 가능하게 한다. 텍스트에서 원인 효과를 추정하는 방법과 원인 인과 형식을 활용하여 모델 신뢰성을 향상시키는 방법을 제안하며, 향후 연구를 위한 방법론, 벤치마킹 및 열린 과제에서 주요 기여를 한다.

ABSTRACT

A fundamental goal of scientific research is to learn about causal relationships. However, despite its critical role in the life and social sciences, causality has not had the same importance in Natural Language Processing (NLP), which has traditionally placed more emphasis on predictive tasks. This distinction is beginning to fade, with an emerging area of interdisciplinary research at the convergence of causal inference and language processing. Still, research on causality in NLP remains scattered across domains without unified definitions, benchmark datasets and clear articulations of the challenges and opportunities in the application of causal inference to the textual domain, with its unique properties. In this survey, we consolidate research across academic areas and situate it in the broader NLP landscape. We introduce the statistical challenge of estimating causal effects with text, encompassing settings where text is used as an outcome, treatment, or to address confounding. In addition, we explore potential uses of causal inference to improve the robustness, fairness, and interpretability of NLP models. We thus provide a unified overview of causal inference for the NLP community.

연구 동기 및 목표

• NLP에서의 원인 인과론 연구가 산발적으로 산재해 있는 것을 통합된 프레임워크로 통합하기 위해.
• 텍스트 데이터에 원인 인과론을 적용할 때 표준화된 정의, 벤치마크 및 도전 과제의 명확한 기술 부족 문제를 해결하기 위해.
• 원인 인과론이 NLP 모델의 강건성, 공정성 및 해석 가능성 향상에 어떻게 기여할 수 있는지 보여주기 위해.
• 사회과학에서의 원인 인과론과 NLP 사이의 격차를 원인 인과 질문을 텍스트적 맥락에서 형식화함으로써 메우기 위해.
• 부분적 원인 모델링, 관측되지 않은 혼동요인, 구조적 예측 작업으로의 확장과 같은 열린 과제를 규명하기 위해.

제안 방법

• 텍스트를 구조적 원인 인과 모델 내의 치료, 결과 또는 혼동요인으로 간주함으로써 NLP에서의 원인 인과론을 형식화한다.
• 잠재 결과, do-계산법, 배경 조정과 같은 표준 원인 인과 기법을 텍스트 기반 데이터에 적용한다.
• NLP 모델(예: 문맥적 임bedding, 토픽 모델)을 사용하여 반사적 상황을 추정하고 의미적 혼동요인을 측정한다.
• 주의 메커니즘과 반사적 변형을 통해 원인 인과 추론을 모델 해석에 통합하여 원인 매개변수를 식별한다.
• 고수준 메타데이터(예: 저자)와 중간 수준의 텍스트 스냅샷(예: 문장)을 연결하는 하이브리드 원인 모델을 제안한다.
• 관측되지 않은 혼동요인을 다루기 위해 관측 불가능한 조건의 기준과 대체 변수를 사용할 것을 주장한다.

실험 결과

연구 질문

• RQ1 텍스트적 특징(예: 성별 신호)이 포스트 참여도와 같은 결과에 미치는 영향을 어떻게 추정할 수 있는가?
• RQ2 텍스트가 혼동요인, 치료 또는 결과로 기능할 때 원인 효과를 추정하는 데 있어 핵심 과제는 무엇인가?
• RQ3 원인 인과 형식이 분포 이동 상황에서 NLP 모델의 강건성과 공정성 향상에 어떻게 기여할 수 있는가?
• RQ4 원인 인과 모델링은 주의 메커니즘과 모델 설명의 해석 가능성에 어떤 방식으로 향상시킬 수 있는가?
• RQ5 관측되지 않은 혼동요인이 발생할 가능성이 높을 때, 부분적 또는 불완전한 원인 모델을 NLP에서 안전하게 적용하는 방법은 무엇인가?

주요 결과

• 적절히 치료, 결과 또는 혼동요인으로 모델링된 경우 텍스트 데이터는 원인 효과 추정에 활용될 수 있으나, 혼동이 주요 과제이다.
• 원인 인과론은 데이터 생성 과정에 대한 도메인 지식과 인도적 편향을 통합함으로써 모델의 강건성을 향상시킨다.
• NLP 모델의 반사적 분석은 주의 메커니즘 내 원인 경로를 드러내어 더 투명하고 신뢰할 수 있는 설명을 가능하게 한다.
• 기존의 NLP 기법, 예를 들어 문맥적 임베딩과 토픽 모델은 고차원 텍스트에서 원인 효과를 추정하는 데 활용될 수 있다.
• 관측되지 않은 혼동요인은 NLP 응용에서 여전히 핵심 과제이며, 특히 의미적 의도와 독자 해석 간 괴리가 발생할 경우 더욱 심각하다.
• 원인 인과론을 구조적 예측 작업으로 확장하는 것은 여전히 열린 과제이며, 특히 순차적 출력에 대해 유효한 관측 불변 기준을 정의하는 데 어려움이 있다.