[논문 리뷰] Invariant and Transportable Representations for Anti-Causal Domain Shifts

Yibo Jiang, Victor Veitch|arXiv (Cornell University)|2022. 07. 04.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 레이블이 특징을 유도하는 반-인과 도메인 스플릿에 적합한 표현 학습 프레임워크인 ACTIR을 제안한다. 인과적(불변) 요소와 도메인 특화(비인과적) 요소를 잠재된 혼동요인을 가진 인과 모델을 통해 분리함으로써, 도메인 불변 예측과 빠른 적응을 모두 가능하게 한다. 이 방법은 PACS 및 VLCS 벤치마크에서 최신 기술을 초월하며, 불변 정확도와 파인튜닝 속도 면에서 IRM 및 MAML을 능가한다.

ABSTRACT

Real-world classification problems must contend with domain shift, the (potential) mismatch between the domain where a model is deployed and the domain(s) where the training data was gathered. Methods to handle such problems must specify what structure is common between the domains and what varies. A natural assumption is that causal (structural) relationships are invariant in all domains. Then, it is tempting to learn a predictor for label $Y$ that depends only on its causal parents. However, many real-world problems are "anti-causal" in the sense that $Y$ is a cause of the covariates $X$ -- in this case, $Y$ has no causal parents and the naive causal invariance is useless. In this paper, we study representation learning under a particular notion of domain shift that both respects causal invariance and that naturally handles the "anti-causal" structure. We show how to leverage the shared causal structure of the domains to learn a representation that both admits an invariant predictor and that also allows fast adaptation in new domains. The key is to translate causal assumptions into learning principles that disentangle "invariant" and "non-stable" features. Experiments on both synthetic and real-world data demonstrate the effectiveness of the proposed learning algorithm. Code is available at https://github.com/ybjiaang/ACTIR.

연구 동기 및 목표

• 실세계 기계학습에서 인과관계는 불변이지만 레이블에서 특징으로의 방향이 반전되는(반-인과적) 도메인 스플릿 문제를 다루기 위해, 기존의 인과 불변 기법이 효과를 발휘하지 못하는 상황을 해결한다.
• 공통된 반-인과적 구조와 도메인 간 혼동요인에 의해 유도되는 변동성을 기반으로 한 새로운 도메인 스플릿 클래스를 정식화한다.
• 새로운 도메인에서 불변 예측과 빠른 적응을 가능하게 하는 표현 학습 절차를 개발한다.
• 실증적으로 제안된 방법이 불변 요소와 적응 가능한 요소를 잘 분리하고 다양한 도메인 간에 잘 일반화됨을 검증한다.

제안 방법

• Y가 X를 유도하고, 잠재된 혼동요인 U와 X의 잠재적 원인 Z를 포함하는 구조적 인과 모델을 도입한다.
• 도메인 스플릿을, 인과 구조 P(Y|Z)는 유지되나 잠재된 혼동요인 U의 분포가 도메인 간에 변동하는 것으로 정의한다.
• 대조 학습과 불변성 정규화를 통해 특징을 불변(요소 Z)과 도메인 특화(요인 U 관련) 요소로 분리하는 표현 학습 목표를 제안한다.
• 이중 스트림 신경망 아키텍처를 사용한다: Z를 위한 공통 인코더와 U를 위한 도메인 특화 헤드로 구성되며, 파인튜닝을 통해 빠른 적응이 가능하다.
• 대조 손실을 통해 도메인 간 불변 표현을 장려하고, 비불변 특징을 모델링하기 위해 도메인 특화 헤드를 활용한다.
• Adam을 사용하여 엔드 투 엔드로 학습하고, 학습 도메인에서의 불변 성능과 테스트 도메인에서의 파인튜닝 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 Y가 X를 유도하는 반-인과적 구조를 고려하면서도 인과 불변성을 유지하는 도메인 스플릿의 원칙적인 정의를 내릴 수 있는가?
• RQ2 새로운 도메인에서 빠른 적응이 가능하도록 하면서도 도메인 간 불변성과 이식 가능성을 동시에 확보할 수 있는 표현을 어떻게 학습할 수 있는가?
• RQ3 반-인과적 환경에서 불변(인과적) 요소와 비불변(혼동요인 유도) 요소를 잘 분리할 수 있는가?
• RQ4 제안된 방법이 실세계 벤치마크에서 기존의 도메인 일반화 및 소수의 예제에 기반한 적응 기반 기법을 능가하는가?

주요 결과

• PACS 데이터셋에서 ACTIR는 아트 도메인에서 82.55%, 캐리커처 도메인에서 76.62%, 포토 도메인에서 94.17%, 스케치 도메인에서 62.14%의 최고 불변 정확도를 기록했다.
• VLCS 데이터셋에서 ACTIR는 캘테크 도메인에서 95.15%, 레이블마이 도메인에서 64.34%, 선 도메인에서 72.31%, VOCS 도메인에서 74.12%의 불변 정확도를 기록했으며, 대부분의 도메인에서 IRM 및 MAML을 능가했다.
• PACS 벤치마크에서 단 20단계의 파인튜닝과 10^-2의 학습률로도, ACTIR는 유일한 도메인을 제외한 모든 도메인에서 최고의 적응 성능을 기록했다.
• 레이블 분포가 도메인 간에 일관되지 않은 경우에도 모델은 강건성을 유지한다. VLCS에서 클래스 불균형이 존재하더라도 강력한 성능을 유지함을 입증했다.
• 정성적 분석 결과, ACTIR는 특히 훈련 도메인이 다양할 경우, 불변 특징(예: 형태)과 도메인 특화 특징(예: 색상, 질감)을 성공적으로 분리하는 것으로 나타났다.
• PACS의 스케치 도메인(S)에서는 ACTIR가 성능이 열등한 편이지만, 이는 훈련 데이터에 색이 없는 도메인이 부족하여 도메인 다양성이 부족했기 때문일 것으로 보이며, 더 다양한 훈련 분포가 필요함을 시사한다.