[논문 리뷰] Invariant Causal Mechanisms through Distribution Matching

Mathieu Chevalley, Charlotte Bunne외 2명|arXiv (Cornell University)|2022. 06. 23.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 분포 매칭을 통한 불변 표현 학습을 위한 새로운 인과적 프레임워크인 CausIRL을 제안한다. 이 프레임워크는 도메인 수에 관계없이 학습 단계당 하나의 분포 거리만 계산하므로 계산 복잡도를 감소시킨다. 다양한 벤치마크에서 도메인 일반화 성능이 최신 기준을 상회하며, 기존 모델의 정확도를 크게 향상시키고, 불변성과 예측 성능 사이의 트레이드오프를 더 우수하게 제공한다.

ABSTRACT

Learning representations that capture the underlying data generating process is a key problem for data efficient and robust use of neural networks. One key property for robustness which the learned representation should capture and which recently received a lot of attention is described by the notion of invariance. In this work we provide a causal perspective and new algorithm for learning invariant representations. Empirically we show that this algorithm works well on a diverse set of tasks and in particular we observe state-of-the-art performance on domain generalization, where we are able to significantly boost the score of existing models.

연구 동기 및 목표

• 기존 방법의 한계를 해결하고 다양한 작업에 적용 가능한 통합된 인과적 프레임워크를 개발하는 것.
• 기존에 도메인 수에 따라 제곱적으로 증가하는 불변성 정규화의 계산 복잡도를 감소시키는 것.
• 분포 매칭을 통해 더 연약한 정규화 방식을 도입하여 불변성과 예측 성능 사이의 트레이드오프를 향상시키는 것.
• 도메인 일반화 및 정의된 표현 학습과 같은 다양한 작업에 광범위하게 적용 가능함을 입증하는 것.
• 기존 딥 러닝 파이프라인에 쉽게 통합할 수 있는 간단하고 작업에 종속되지 않는 방법을 제공하는 것.

제안 방법

• 이 방법은 불변 표현 학습에 인과적 관점을 도입하여 데이터 생성 과정을 구조적 인과 모델로 모델링한다.
• 불변성을 인과 메커니즘의 성질로 정의함으로써, 표현이 다양한 도메인 또는 환경 간에 안정적으로 유지되도록 보장한다.
• 주요 혁신은 학습 단계당 두 배치 간의 하나의 분포 거리(예: CORAL 또는 MMD)만 계산하여, 모든 도메인 조합 간의 쌍별 거리를 계산할 필요가 없도록 하는 것이다.
• 비가역적 손실을 통해 표현 분포를 도메인 간에 매칭함으로써 정규화를 적용하며, 명시적 적대적 훈련 없이도 불변성을 촉진한다.
• 표준 딥 러닝 프레임워크와 호환되는 플러그인 모듈로 구현되어 기존 모델에 쉽게 통합할 수 있다.
• 표준 도메인 일반화 벤치마크와 복잡한 분포 이탈을 보이는 실제 데이터셋을 모두 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 인과적 프레임워크는 도메인 일반화 및 정의된 표현 학습과 같은 불변 표현이 필요한 다양한 작업을 통합할 수 있는가?
• RQ2 도메인 수가 많을 경우 불변성 정규화를 어떻게 계산적으로 효율적으로 만들 수 있는가?
• RQ3 분포 매칭을 통해 강화된 더 연약한 불변성 형태가 하드한 불변성 제약에 비해 성능-안정성 트레이드오프를 더 우수하게 만드는가?
• RQ4 제안된 방법은 다양한 데이터셋에서 도메인 일반화 성능이 최신 기준을 달성할 수 있는가?
• RQ5 복잡하고 관측되지 않은 분포 이탈이 존재하는 실제 데이터셋에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• DomainBed 벤치마크에서 CausIRL + CORAL은 평균 69.4%의 정확도를 기록하여, 다음으로 좋은 방법인 ERM(68.7%)보다 0.7% 높은 성능을 보였다.
• VLCS 데이터셋에서 CausIRL + CORAL은 78.2%의 정확도를 달성하여, CORAL(77.7%)보다 0.5% 높고, ERM(76.8%)보다 1.4% 높았다.
• Camelyon17에서 CausIRL + CORAL은 62.7%의 정확도를 기록했으며, ERM(70.3%)보다는 낮지만, 더 높은 분산을 보이는 ERM에 비해 더 뛰어난 내성성을 보였다.
• RxRx1에서 CausIRL + MMD는 28.9%의 정확도를 기록하여, MMD(28.2%)보다 약간 높고, ERM(29.9%)와 유사하여 복잡한 실제 데이터에서 강력한 성능을 보였다.
• IRM과 GroupDRO에 비해 RxRx1에서 CausIRL이 크게 승리했으며, IRM의 정확도가 9.9%로 급격히 떨어지는 등 복잡한 이탈에 대한 강건성을 입증했다.
• CausIRL + MMD는 ColoredMNIST에서 63.7%의 정확도를 기록하여, ERM(58.3%)보다 5.4% 높고, IRM(58.7%)보다 5.0% 높았으며, 분포 이탈 하에서 강력한 일반화 능력을 보였다.