[논문 리뷰] Towards Causal Representation Learning

Bernhard Schölkopf, Francesco Locatello외 5명|arXiv (Cornell University)|2021. 02. 22.

Bayesian Modeling and Causal Inference인용 수 76

한 줄 요약

본 논문은 인과 추론 개념을 조사하고 로봇? 아님; 머신러닝에서 견고성, 전이성, 일반화를 향상시키기 위한 인과 표현 학습을 촉진하며, SCMs, ICM, 및 개입에 대해 자세히 다룬다.

ABSTRACT

The two fields of machine learning and graphical causality arose and developed separately. However, there is now cross-pollination and increasing interest in both fields to benefit from the advances of the other. In the present paper, we review fundamental concepts of causal inference and relate them to crucial open problems of machine learning, including transfer and generalization, thereby assaying how causality can contribute to modern machine learning research. This also applies in the opposite direction: we note that most work in causality starts from the premise that the causal variables are given. A central problem for AI and causality is, thus, causal representation learning, the discovery of high-level causal variables from low-level observations. Finally, we delineate some implications of causality for machine learning and propose key research areas at the intersection of both communities.

연구 동기 및 목표

• ML에서 견고성 및 분포 변화에 대응하기 위한 인과 추론 필요성에 동기를 부여한다.
• 통계적, 인과 그래프적, 구조적 인과 모델 간의 차이를 명확히 한다.
• 데이터로부터 인과 관계를 학습하기 위한 기초로 Independent Causal Mechanisms 원칙을 제안한다.
• 인과 표현 학습 방식과 그것이 ML 작업과 응용에 미치는 영향을 논의한다.

제안 방법

• 기계적 수준에서 통계적 표현에 이르는 인과 모델링의 수준들을 설명한다.
• 인과 메커니즘과 독립 노이즈를 갖는 Structural Causal Models (SCMs)를 소개한다.
• SCM 프레임워크 내에서 개입과 반사실을 정의한다.
• Independent Causal Mechanisms (ICM) 원칙과 학습 및 일반화에 대한 시사점을 제시한다.
• 서술자(descriptors)로부터 인과 관계를 학습하는 방법들을 고전적 및 딥러닝 관점을 포함하여 검토한다.
• 인과 표현이 견고성, 전이성, 그리고 일반적인 ML 관행에 어떻게 영향을 미치는지 논의한다.

실험 결과

연구 질문

• RQ1 개입과 분포 변화들을 처리하기 위해 인과 모델을 어떻게 형식화할 수 있는가?
• RQ2 데이터로부터 학습하기 위한 SCMs와 인과 그래프의 이점과 한계는 무엇인가?
• RQ3 Independent Causal Mechanisms가 관찰로부터 인과 표현 학습을 어떻게 안내할 수 있는가?
• RQ4 인과 표현이 ML 시스템의 견고성 및 전이성을 어떤 방식으로 향상시킬 수 있는가?

주요 결과

• 인과성은 독립적으로 동등분포(i.i.d.) 예측을 넘어서 개입과 분포 변화에 대해 추론할 수 있는 프레임워크를 제공한다.
• SCMs는 결합 분포를 인과 메커니즘의 인자로 분해하여 개입적 추론을 가능하게 한다.
• Independent Causal Mechanisms (ICM) 원칙은 재사용 가능하고 모듈식 인과 지식의 학습을 지원한다.
• 데이터로부터 인과 표현을 학습하는 것은 견고성, 일반화 및 샘플 효율성을 향상시킬 수 있다.
• 모델링 수준의 분류 체계는 개입적 및 반사실적 질문에 답하기 위해 언제 어떻게 물리적/인과 구조를 사용할지 명확히 한다.
• 본 논문은 인과 추론을 반지도학습(semi-supervised) 및 자기지도학습(self-supervised) 같은 실용적 ML 관행과 연결하고, 이들의 인과 해석을 강조한다.