[논문 리뷰] Generalization in anti-causal learning

Niki Kilbertus, Giambattista Parascandolo외 1명|arXiv (Cornell University)|2018. 12. 03.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 21

한 줄 요약

이 논문은 원인을 결과에서 추론하는 반-인과 학습에서 강력한 일반화를 달성하기 위해서는 단지 반-인과 모델이 아니라 인과 모델에의 액세스가 필요하다고 주장한다. 직접 추론에서 인과 모델에 대한 검색 및 검증으로의 범주 전환을 제안함으로써, i.i.d. 데이터 분포를 초월한 견고한 외삽이 가능해지며, 이는 적대적 공격에 대한 내성, 분리 표현, 딥러닝에서의 일반화에 영향을 미친다.

ABSTRACT

The ability to learn and act in novel situations is still a prerogative of animate intelligence, as current machine learning methods mostly fail when moving beyond the standard i.i.d. setting. What is the reason for this discrepancy? Most machine learning tasks are anti-causal, i.e., we infer causes (labels) from effects (observations). Typically, in supervised learning we build systems that try to directly invert causal mechanisms. Instead, in this paper we argue that strong generalization capabilities crucially hinge on searching and validating meaningful hypotheses, requiring access to a causal model. In such a framework, we want to find a cause that leads to the observed effect. Anti-causal models are used to drive this search, but a causal model is required for validation. We investigate the fundamental differences between causal and anti-causal tasks, discuss implications for topics ranging from adversarial attacks to disentangling factors of variation, and provide extensive evidence from the literature to substantiate our view. We advocate for incorporating causal models in supervised learning to shift the paradigm from inference only, to search and validation.

연구 동기 및 목표

• i.i.d. 데이터 분포를 초월한 일반화의 근본적 한계를 해결하기 위해.
• 공변량 이동 또는 도메인 이동 상황에서 현재의 지도 학습 방법이 인과적 구조 없이 직접 추론에 의존함으로써 실패하는 이유를 설명하기 위해.
• 반-인과 작업에서 가설 검증과 강력한 일반화를 가능하게 하기 위해 인과 모델이 필수적임을 입증하기 위해.
• 인지 과학, 물리학, 기계 학습의 통찰을 인과 생성 모델이 견고한 추론에서 수행하는 역할을 중심으로 통합하기 위해.
• 기계 학습 시스템에서 순수한 추론에서 가설 검색 및 인과 검증으로의 범주 전환을 옹호하기 위해.

제안 방법

• 원인에서 영향을 예측하는 인과 학습과 결과에서 원인을 추론하는 반-인과 학습을 구분하며, 이들의 다른 일반화 성질을 강조한다.
• 반-인과 모델이 가설 생성을 이끌고, 인과 모델이 검증과 외삽에 사용된다고 제안한다.
• '검색 및 검증'을 일반 원칙으로 도입: 반-인과 모델을 통해 후보 원인을 생성하고, 인과 모델을 사용해 검증한다.
• 과학적 발견과 유사성 제시: 이론(가설)을 추측하고, 인과 모델을 통해 결과를 계산하고, 데이터와 비교한다.
• 시각(역 그래픽스), 로봇공학(시뮬레이터 기반 계획), AlphaGo(신경망이 이끄는 게임 상태 검색)의 사례를 인용한다.
• 일반화에서 인과 모델의 견고성을 정당화하기 위해 원인과 기제의 독립성 원칙(ICM)을 사용한다.

실험 결과

연구 질문

• RQ1 왜 현재의 반-인과 학습 방법들은 i.i.d. 설정에서는 뛰어난 성능을 보이지만, 분포 이동 상황에서는 일반화에 실패하는가?
• RQ2 어떻게 인과 모델이 이미지 생성, 분리 표현, 또는 적대적 내성과 같은 반-인과 작업에서 일반화를 향상시킬 수 있는가?
• RQ3 가설 검색과 검증은 왜 외삽을 초월한 강력한 일반화를 가능하게 하는가?
• RQ4 인간의 인지 과정은 기계 학습을 위한 제안된 검색-검증 프레임워크와 어떤 방식으로 유사한가?
• RQ5 기존의 딥러닝 아키텍처들은 어떻게 인과 모델 검색과 반-인과 추론의 관점에서 재해석될 수 있는가?

주요 결과

• 반-인과 학습에서 강력한 일반화는 인과 모델에 액세스하지 못하면 근본적으로 제한된다. 역함수 매핑은 종종 정의되지 않거나 유일하지 않기 때문이다.
• 반-인과 모델이 생성한 가설을 인과 모델로 검증함으로써 인과 모델이 신뢰할 수 있는 외삽을 가능하게 하여 직접 추론의 취약성을 극복한다.
• 역 그래픽스, 시뮬레이션 기반 계획(MuJoCo 등), AlphaGo에서의 경험적 증거는 인과 모델에 대한 검색이 새로운 환경에서 견고한 성능을 이끌어낸다고 보여준다.
• 과학적 방법—추측, 계산, 비교—는 제안된 검색-검증 프레임워크와 유사하므로, 이론적이고 실용적인 타당성을 시사한다.
• 적대적 예제와 분리 표현 학습과 같은 과제에서, 훈련 데이터를 초월한 일반화가 필수적인 상황에서 인과 모델은 필수적이다.
• 반-인과 학습에 인과 모델을 통합함으로써, 보간에서 가설 기반 추론으로의 범주 전환이 이루어지며, 이는 분포 이동 상황에서도 내성을 확보할 수 있게 한다.