[논문 리뷰] Domain Generalization via Conditional Invariant Representation

Ya Li, Mingming Gong외 3명|arXiv (Cornell University)|2018. 07. 23.

Domain Adaptation and Few-Shot Learning인용 수 29

한 줄 요약

이 논문은 입력 및 조건부 레이블 분포가 모두 변화하는 상황에서도 강건한 일반화를 가능하게 하는 조건부 불변 도메인 일반화(CIDG)를 제안한다. 이는 도메인 간에 조건부 분포 𝕡(h(X)|Y)가 불변하도록 특징 표현을 학습한다. 실험 결과, 기존 방법들에 비해 합성 및 실세계 데이터셋에서 CIDG가 뛰어난 성능을 보이며, 특히 prior 𝕡(Y|X)가 안정되지 않는 비-i.i.d. 데이터 이동 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Domain generalization aims to apply knowledge gained from multiple labeled source domains to unseen target domains. The main difficulty comes from the dataset bias: training data and test data have different distributions, and the training set contains heterogeneous samples from different distributions. Let $X$ denote the features, and $Y$ be the class labels. Existing domain generalization methods address the dataset bias problem by learning a domain-invariant representation $h(X)$ that has the same marginal distribution $\mathbb{P}(h(X))$ across multiple source domains. The functional relationship encoded in $\mathbb{P}(Y|X)$ is usually assumed to be stable across domains such that $\mathbb{P}(Y|h(X))$ is also invariant. However, it is unclear whether this assumption holds in practical problems. In this paper, we consider the general situation where both $\mathbb{P}(X)$ and $\mathbb{P}(Y|X)$ can change across all domains. We propose to learn a feature representation which has domain-invariant class conditional distributions $\mathbb{P}(h(X)|Y)$. With the conditional invariant representation, the invariance of the joint distribution $\mathbb{P}(h(X),Y)$ can be guaranteed if the class prior $\mathbb{P}(Y)$ does not change across training and test domains. Extensive experiments on both synthetic and real data demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 입력 분포 𝕡(X)와 조건부 레이블 분포 𝕡(Y|X)가 도메인 간에 변화하는 상황에서 도메인 일반화 문제를 해결한다. 이는 일반적으로 안정적인 𝕡(Y|X)를 가정하는 것과는 도전적인 상황이다.
• 표현 학습을 통해 𝕡(h(X)|Y)의 불변성을 확보하여 공동 분포 𝕡(h(X),Y)의 불변성을 보장하는 방법을 개발한다.
• 𝕨(Y|X)가 도메인 간에 안정되어 있다는 가정에 의존하지 않도록 하여, Y→X와 같은 실세계 인과적 구조에서 자주 실패하는 가정을 제거한다.
• 조건부 분포 불변성을 명시적으로 정규화하여, 미관측 타겟 도메인에서의 일반화 성능을 향상시킨다.

제안 방법

• 소스 도메인 간에 조건부 분포 𝕡(h(X)|Y)의 분산을 최소화하는 표현 학습 프레임워크를 제안한다.
• 전역 분포 불일치를 줄이기 위해 클래스 사전 분포 정규화된 근사 분포 𝕡_N(h(X))의 분산 기반 정규화 항을 도입한다.
• 클래스 사전 분포의 정규화를 통해 도메인 간 𝕡(Y)의 잠재적 이동에 미치는 영향을 완화한다.
• 핵 페어시피셔 할류분석(Kernel Fisher Discriminant Analysis)에서 영감을 얻어 내부 클래스 및 외부 클래스 거리 제약 조건을 통합하여 분류 성능 유지를 도모한다.
• 모든 실험에서 RBF 커널 기반 방법을 사용하여 커널 행렬을 계산하고, 최종 분류에는 KNN을 사용한다.
• 분포 불변성과 분류 학습의 조합을 최적화하여 강건성과 정확성의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 입력 분포 𝕡(X)와 조건부 레이블 분포 𝕡(Y|X)가 모두 도메인 간에 변화하는 상황에서 도메인 일반화 성능를 향상시킬 수 있는가?
• RQ2 조회분포 𝕡(h(X)|Y)의 불변성을 강제로 적용할 경우, 단지 근사 분포 𝕡(h(X))의 불변성만 강제하는 것보다 더 나은 일반화 성능를 달성하는가?
• RQ3 𝕨(Y|X)가 안정되지 않는 현실적인 분포 이동 상황에서 기존 도메인 일반화 기법들과 비교해 본다면, 제안된 방법은 어떻게 성능를 발휘하는가?
• RQ4 클래스 사전 분포 이동이 도메인 일반화 모델의 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 합성 데이터에서 CIDG는 86.67%의 정확도를 기록했으며, KPCA, DICA, SCA는 떨어진 클러스터링 또는 혼합된 클래스 표현으로 인해 성능가 낮았다.
• VLCS 데이터셋에서 CIDG는 10개 도메인 일반화 작업 중 9개에서 최고 성능를 기록했으며, 다양한 이미지 도메인 간의 강건성을 입증했다.
• Office+Caltech 데이터셋에서 CIDG는 10개 작업 중 9개에서 최고 성능를 기록했으며, 복잡한 실세계 분포 이동 상황에서도 열등함을 입증했다.
• KPCA 및 DICA와 같은 기법들은 조건부 분포가 이동할 경우 일반화 성능가 떨어지며, 이는 단지 근사 분포 불변성에 의존하는 것의 한계를 보여준다.
• 이론적 프레임워크에서 가정한 바와 같이 소스 및 타겟 도메인 간에 클래스 사전 분포 𝕡(Y)가 그대로 유지되더라도, 제안된 방법은 강력한 성능를 유지한다.
• 정규화 항에 클래스 사전 분포 정규화를 적용함으로써 클래스 사전 분포의 도메인 이동 영향을 효과적으로 감소시켜 일반화 안정성을 향상시켰다.