[논문 리뷰] Learning Causal Semantic Representation for Out-of-Distribution Prediction

Chang Liu, Xinwei Sun외 5명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 126인용 수 48

한 줄 요약

논문은 Causal Semantic Generative model (CSG)을 제시하여 semantic factors와 variation factors를 분리하고 인과 불변성을 통해 견고한 OOD 예측 및 도메인 적응을 달성하며 이론적 식별성 보장을 제공합니다.

ABSTRACT

Conventional supervised learning methods, especially deep ones, are found to be sensitive to out-of-distribution (OOD) examples, largely because the learned representation mixes the semantic factor with the variation factor due to their domain-specific correlation, while only the semantic factor causes the output. To address the problem, we propose a Causal Semantic Generative model (CSG) based on a causal reasoning so that the two factors are modeled separately, and develop methods for OOD prediction from a single training domain, which is common and challenging. The methods are based on the causal invariance principle, with a novel design in variational Bayes for both efficient learning and easy prediction. Theoretically, we prove that under certain conditions, CSG can identify the semantic factor by fitting training data, and this semantic-identification guarantees the boundedness of OOD generalization error and the success of adaptation. Empirical study shows improved OOD performance over prevailing baselines.

연구 동기 및 목표

• 표현에서의 semantic-variation 얽힘으로 인한 OOD 취약성 문제를 동기 부여하고 정의한다.
• 견고한 예측을 위해 semantic factors와 variation factors를 분리하는 인과 생성 프레임워크를 제안한다.
• 일부 조건하에서 단일 학습 도메인으로부터 semantic factor의 이론적 식별성을 확립한다.
• CSG 프레임워크 내에서 OOD 일반화 및 도메인 적응을 위한 변분 베이즈 기반 방법을 개발한다.
• 실세계 이미지 분류 과제에서 baselines에 비해 실증적 개선을 보여준다.

제안 방법

• semantic 및 variation 잠재 인자를 분리하기 위해 p(s,v), p(x|s,v), p(y|s)와 함께 Causal Semantic Generative Model (CSG)을 제안한다.
• 인과 불변성 원칙을 채택한다: p(x|s,v)와 p(y|s)는 도메인 불변이며, 사전 p(s,v)는 도메인 간에 변한다.
• 두 개의 분리된 추론 모델 없이 예측과 학습을 가능하게 하는 보조 q(s,v,y|x)에 의존하는 재구성 ELBO 목표를 사용한다.
• test 도메인 예측을 위한 (s,v)에 대한 사전 정보를 바꿔 OOD 일반화 개선 및 도메인 적응 가능성을 높이는 CSG-ind 및 CSG-DA 변형을 도입한다.
• 잠재 인자에 대한 do-형 개입을 통해 학습 도메인 학습을 테스트 도메인 예측과 일치시키는 학습 목표를 제시한다.

실험 결과

연구 질문

• RQ1 변동 인자 v와의 상관관계에도 불구하고 단일 학습 도메인에서 semantic factor s를 식별할 수 있는가?
• RQ2 semantic 식별이 OOD 일반화 오차의 경계에 어떤 영향을 미치는가?
• RQ3 공변량 변화 하에서 인과 불변성으로 강건한 OOD 일반화 및 도메인 적응을 지원할 수 있는가?
• RQ4 OOD 과제에서 추론 불변성 접근법보다 test-domain prior(CSG-ind/CSG-DA)를 사용하는 실용적 이점은 무엇인가?
• RQ5 OOD tasks를 위해 CSG 표현을 효과적으로 학습하도록 변분 베이스를 어떻게 조정할 수 있는가?

주요 결과

• CSG는 특정 가법 노이즈(additive-noise)와 bijectivity 가정하에 의미 인자를 식별할 수 있다.
• semantic 식별은 경계가 있는 OOD 일반화 오차를 초래하고 정확한 도메인 적응 예측을 가능하게 한다.
• CSG 기반 방법은 실세계 이미지 분류 과제에서 baselines에 비해 OOD 성능이 향상된다.
• 테스트 도메인 사전 정보를 갖는 인과-불변성 기반 학습 목표는 도메인 시프트 하에서 신뢰할 만한 예측을 제공한다.
• 이 방법은 학습 데이터에서 여러 도메인이나 개입을 요구하지 않고 단일 학습 도메인을 사용하여 예측을 달성한다.