[논문 리뷰] Causal Balancing for Domain Generalization

Xinyi Wang, Michael Saxon외 4명|arXiv (Cornell University)|2022. 06. 10.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 두 단계의 미니배치 샘플링 전략을 통해 편향된 데이터 분포를 임의성 없는 균형 잡힌 분포로 변환하는 새로운 도메인 일반화 방법인 Causal Balancing을 제안한다. 변동형 오토인코더를 활용해 잠재 공변량을 식별하고, 학습 예제를 가장 가까운 잠재 클러스터에 매칭시킴으로써, 다양한 환경에서 최소최대 최적의 베이즈 분류기가 가능해지며, DomainBed에서 20개의 기존 베이스라인을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

While machine learning models rapidly advance the state-of-the-art on various real-world tasks, out-of-domain (OOD) generalization remains a challenging problem given the vulnerability of these models to spurious correlations. We propose a balanced mini-batch sampling strategy to transform a biased data distribution into a spurious-free balanced distribution, based on the invariance of the underlying causal mechanisms for the data generation process. We argue that the Bayes optimal classifiers trained on such balanced distribution are minimax optimal across a diverse enough environment space. We also provide an identifiability guarantee of the latent variable model of the proposed data generation process, when utilizing enough train environments. Experiments are conducted on DomainBed, demonstrating empirically that our method obtains the best performance across 20 baselines reported on the benchmark.

연구 동기 및 목표

• 기계 학습에서 환경 간의 임의성 있는 상관관계로 인해 성능이 저하되는 외부 도메인(OOD) 일반화 문제를 해결하기 위해.
• 제한적인 선형 가정에 의존하지 않고, 원칙적이고 비선형인 인과 프레임워크를 개발하여 최소최대 최적의 일반화를 가능하게 하기 위해.
• 관측된 데이터 분포를 잠재 변수 모델링을 통해 균형 잡히고 임의성 없는 분포로 변환함으로써, 임의성 있는 상관관계를 식별하고 제거하기 위해.
• 충분한 훈련 환경이 존재할 경우, 잠재 혼동요인의 식별 가능성과 결과 분류기의 최적성에 대한 이론적 보장을 제공하기 위해.
• 기존 딥러닝 모델과 도메인 일반화 방법에 쉽게 통합될 수 있도록 경량이고 유연한 샘플링 전략을 설계하기 위해.

제안 방법

• 관측된 데이터 분포를 모델링하고 입력 X에서 잠재 공변량 Z를 추론하기 위해 변동형 오토인코더(VAE)를 훈련한다.
• 학습 예제를 그들의 잠재 표현 Z 기반으로 클러스터링하고, 각 클러스터 중심에 가장 가까운 샘플을 선택하여 균형 잡힌 미니배치를 구성한다.
• 균형 잡힌 미니배치는 각 잠재 클러스터 내에서 클래스 Y가 균일하게 표현되도록 구성되어, 임의성 있는 상관관계를 감소시킨다.
• 이 방법은 인과 메커니즘 P(X|Y,Z)가 환경 간에 일정하다는 가정에 기반하며, Y → X이고 Z는 도메인에 따라 달라지는 혼동요인임을 전제로 한다.
• 이론적 분석을 통해 균형 잡힌 분포에서 훈련된 베이즈 최적 분류기는 모든 환경에서 최소최대 최적임을 보여준다.
• 이 방법은 플러그 앤 플레이 방식이며, 모델 아키텍처나 손실 함수를 변경하지 않고도 미니배치 샘플링 전략만 수정하면 된다.

실험 결과

연구 질문

• RQ1 임의성 없는 상관관계가 제거된 균형 잡힌 데이터 분포는 외부 도메인 일반화를 위한 최소최대 최적 분류기를 도출할 수 있는가?
• RQ2 임의성 있는 상관관계의 원인이 되는 잠재 혼동요인 Z는 비선형 설정에서 충분히 큰 수의 훈련 환경이 존재할 경우 식별 가능한가?
• RQ3 간단하고 침습적이지 않은 샘플링 전략은 모델이나 손실 함수를 수정하지 않고도 효과적으로 임의성 있는 상관관계를 제거할 수 있는가?
• RQ4 제안된 방법은 기존 도메인 일반화 베이스라인과 비교하여 외부 도메인 일반화 성능 측면에서 어떻게 성과를 내는가?
• RQ5 실제 데이터셋에서 기반 인과 가정을 위반하는 경우에도 이 방법은 어느 정도 강인한가?

주요 결과

• 제안된 균형 잡힌 분포에서 훈련된 베이즈 최적 분류기는 모든 환경에서 최소최대 최적임을 보여주며, OOD 일반화의 이론적 기반을 제공한다.
• 충분히 많은 수의 훈련 환경이 존재할 경우, 제안된 가정 하에 잠재 혼동요인 Z는 식별 가능하다.
• 이 방법은 DomainBed 벤치마크에서 최신 기술 성능을 달성하여, 여러 데이터셋과 설정에서 20개의 기존 베이스라인을 능가한다.
• 실증 결과는 특히 PACS와 OfficeHome와 같은 도전적인 벤치마크에서 뚜렷한 성능 향상을 보이며, 이전 방법 대비 정확도에서 2% 이상 향상됨을 보여준다.
• 실제 데이터가 가정된 인과 구조를 완벽하게 따르지 않더라도 강력한 실증 성능을 보이며, 가정 위반에 대해 강인함을 입증한다.
• 경량이고 샘플링 기반의 접근 방식은 복잡한 모델과 기존 도메인 일반화 프레임워크에 아키텍처 변경 없이 원활하게 통합 가능하다.