[논문 리뷰] Causal Machine Learning: A Survey and Open Problems

Jean Kaddour, Aengus Lynch외 3명|arXiv (Cornell University)|2022. 06. 30.

Bayesian Modeling and Causal Inference인용 수 87

한 줄 요약

이 논문은 Causal Machine Learning (CausalML)을 조사하고, 다섯 개의 문제 영역으로 작업을 분류하며, 응용 및 벤치마크를 검토하고, 인과성, 학습, 설명, 공정성 및 강화 학습에 걸친 미해결 문제를 다룬다.

ABSTRACT

Causal Machine Learning (CausalML) is an umbrella term for machine learning methods that formalize the data-generation process as a structural causal model (SCM). This perspective enables us to reason about the effects of changes to this process (interventions) and what would have happened in hindsight (counterfactuals). We categorize work in CausalML into five groups according to the problems they address: (1) causal supervised learning, (2) causal generative modeling, (3) causal explanations, (4) causal fairness, and (5) causal reinforcement learning. We systematically compare the methods in each category and point out open problems. Further, we review data-modality-specific applications in computer vision, natural language processing, and graph representation learning. Finally, we provide an overview of causal benchmarks and a critical discussion of the state of this nascent field, including recommendations for future work.

연구 동기 및 목표

• ML 연구자를 위한 최소한의, 자립적인 인과성 소개.
• CausalML 연구를 다섯 가지 문제 클래스으로 분류하고 각 클래스 내의 방법들을 비교한다.
• 모달리티별 응용(시각, NLP, 그래프 표현 학습) 및 인과 벤치마크를 검토한다.
• CausalML에서의 실용적 이점, 도전 과제 및 열린 연구 질문을 논의한다.
• 향후 연구 및 분야 방향에 대한 권고를 제시한다.

제안 방법

• 주요 인과성 개념과 표준 형식들(Bayesian networks, graphical causal models, SCMs)을 소개한다.
• 개입(do-operator)과 반사실을 정의하고, ladder of causation을 설명한다.
• Independent Mechanisms 및 SCMs를 뒷받침하는 구조적 가정을 설명한다.
• CausalML 범주의 분류를 제공한다: 인과 감독 학습, 인과 생성 모델링, 인과 설명, 인과 공정성, 인과 강화 학습.
• 컴퓨터 비전, 자연어 처리, 그래프 표현 학습의 응용을 조사한다.
• 좋은(good)/나쁜(bad)/울긋불긋 ugly 고려사항을 포함하여 현황을 요약한다.

실험 결과

연구 질문

• RQ1 핵심 인과 형식론은 무엇이며, 개입과 반사실을 어떻게 작동화하는가?
• RQ2 기존 CausalML 방법을 어떻게 분류하고, 각 범주 내에서 접근법을 비교할 수 있는가?
• RQ3 모달리티 전반에서 CausalML을 주도하는 주요 응용 및 벤치마크는 무엇인가?
• RQ4 인과성, 학습, 설명, 공정성 및 RL 전반에서 어떤 미해결 문제와 향후 방향이 나타나는가?

주요 결과

• 본 논문은 ML 연구자를 위한 인과성에 대한 최소한의, 자립적인 소개를 제공한다.
• CausalML 연구를 다섯 가지 문제 클래스로 구분하는 분류 체계를 제안하고, 각 클래스 내의 방법들을 체계적으로 비교한다.
• 모달리티별 응용(시각, NLP, 그래프 학습) 및 인과 벤치마크를 검토한다.
• 실무에서 CausalML을 채택하는 장점(good)과 도전 과제(bad/ugly)에 대해 논의한다.
• 미해결 문제를 강조하고 향후 연구 방향에 대한 지침을 제시한다.