[논문 리뷰] Domain Generalization via Contrastive Causal Learning

Qiaowei Miao, Junkun Yuan외 1명|arXiv (Cornell University)|2022. 10. 06.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 영상-라벨 인과적 영향을 프론트도어 기준을 통해 모델링하고, 볼 수 있는 데이터에서의 사전 지식을 활용해 볼 수 없는 이미지 예측을 유도함으로써 제로샷 일반화를 향상시키는 새로운 도메인 일반화 프레임워크인 대비 인과 모델(CCM)을 제안한다. CCM은 PACS, OfficeHome, TerraIncognita에서 최신 기술 수준(SOTA) 성능을 달성하며, 후자 두 데이터셋에서 평균 정확도 68.4%를 기록한다.

ABSTRACT

Domain Generalization (DG) aims to learn a model that can generalize well to unseen target domains from a set of source domains. With the idea of invariant causal mechanism, a lot of efforts have been put into learning robust causal effects which are determined by the object yet insensitive to the domain changes. Despite the invariance of causal effects, they are difficult to be quantified and optimized. Inspired by the ability that humans adapt to new environments by prior knowledge, We develop a novel Contrastive Causal Model (CCM) to transfer unseen images to taught knowledge which are the features of seen images, and quantify the causal effects based on taught knowledge. Considering the transfer is affected by domain shifts in DG, we propose a more inclusive causal graph to describe DG task. Based on this causal graph, CCM controls the domain factor to cut off excess causal paths and uses the remaining part to calculate the causal effects of images to labels via the front-door criterion. Specifically, CCM is composed of three components: (i) domain-conditioned supervised learning which teaches CCM the correlation between images and labels, (ii) causal effect learning which helps CCM measure the true causal effects of images to labels, (iii) contrastive similarity learning which clusters the features of images that belong to the same class and provides the quantification of similarity. Finally, we test the performance of CCM on multiple datasets including PACS, OfficeHome, and TerraIncognita. The extensive experiments demonstrate that CCM surpasses the previous DG methods with clear margins.

연구 동기 및 목표

• 도메인 분포 이탈 상황에서 딥 러닝 모델의 분포 외 일반화 부족 문제를 해결하기 위해.
• 새로운 포괄적인 인과 그래프를 활용해 도메인 일반화를 인과 추론 문제로 체계화하기 위해.
• 도메인 특화 상관관계에 영향을 받지 않는, 진정한 영상-라벨 인과 효과를 정량화하고 최적화하기 위해.
• 다양한 도메인 간 동일 클래스의 특징을 군집화하는 대비 유사도 학습을 통해 특징 표현 학습을 향상시키기 위해.
• 도메인 특화 적응 없이도 볼 수 없는 타겟 도메인으로도 견고하게 일반화되는 통합 프레임워크를 개발하기 위해.

제안 방법

• 도메인(D), 객체(O), 카테고리(C), 배경 특징(E), 영상(X), 사전 지식(Z), 라벨(Y)를 포함하는 새로운 인과 구조 모델(SCM)을 도입하며, D는 O와 E에 영향을 주고, X는 Z에 연결된다.
• 관측되지 않은 혼란 요인이 존재하더라도 인과 효과를 정량화할 수 있도록, 프론트도어 기준을 적용하여 do(X)→Y의 인과 효과를 P(X), P(Z|X), P(Y|Z,X)로 분해하여 추정한다.
• 세 부분으로 구성된 훈련 목표를 설계한다: (i) 도메인 조건부 지도 학습을 통해 X와 Y 간의 상관관계를 학습; (ii) 프론트도어 공식을 통해 P(Y|do(X))를 추정하는 인과 효과 학습; (iii) 동일 클래스의 특징을 군집화하는 대비 유사도 학습.
• 대비 학습을 통해 동일 클래스의 이미지 간 특징 유사도를 강화함으로써 도메인 간 일반화 능력 향상과 표현 학습의 안정성 향상을 도모한다.
• 도메인 요인 D를 제어하여 D→O 및 D→E와 같은 허위 경로를 제거함으로써, X에서 Y로의 진정한 인과 경로를 프론트도어 기준에 따라 고립시킨다.
• 볼 수 없는 이미지를 볼 수 있는 이미지에서 유도된 사전 지식(Z)으로 매핑하는 지식 전이 메커니즘을 활용하여, 볼 수 없는 도메인으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 도메인 간 안정적이고 불변하는 관계를 포괄하는 인과 추론 문제로 도메인 일반화를 체계화할 수 있는가?
• RQ2 어떻게 도메인 특화 분포 이동에 영향을 받지 않는 입력 영상이 라벨에 미치는 진정한 인과 효과를 정량화하고 최적화할 수 있는가?
• RQ3 볼 수 있는 데이터에서 유도된 사전 지식이 볼 수 없는 도메인으로의 제로샷 일반화를 어떻게 가능하게 하는가?
• RQ4 대비 유사도 학습은 도메인 일반화에서 학습된 표현의 강건성과 불변성을 어떻게 향상시키는가?
• RQ5 인과 추론과 대비 학습을 통합한 통합 모델이 다양한 벤치마크에서 기존의 도메인 일반화 방법을 능가할 수 있는가?

주요 결과

• CCM은 OfficeHome와 TerraIncognita 데이터셋에서 평균 정확도 68.4%를 기록하며, 모든 기준 방법을 능가한다.
• PACS에서 CCM은 87.0%의 정확도를 기록하여 다음으로 우수한 방법보다 명확한 격차를 확보한다.
• 제거 실험 결과, 지식 전이 손실(ℒ_teach)을 제거하면 성능이 거의 무작위 수준으로 떨어지며, 이는 기본 상관관계 학습에 있어 그 핵심적 역할을 확인한다.
• 인과 효과 학습(ℒ_learn)과 대비 유사도(ℒ_CS)의 조합이 가장 높은 성능을 내며, 이는 두 요소가 상호보완적인 효과를 가짐을 확인한다.
• T-SNE 시각화 결과, CCM은 각 클래스별로 더 조밀하고 잘 분리된 특징 군집을 생성하며, 표현 학습 향상에 기여하는 만능 구조를 나타낸다.
• CCM은 어느 한 도메인에서 최고 성능을 내지 못했지만, TerraIncognita에서 평균 정확도가 가장 높아 다양한 도메인에 걸쳐 뛰어난 안정성과 일반화 능력을 입증한다.