[논문 리뷰] Respecting Domain Relations: Hypothesis Invariance for Domain Generalization

Ziqi Wang, Marco Loog외 1명|arXiv (Cornell University)|2020. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 8

한 줄 요약

이 논문은 도메인 일반화를 위한 가설 불변 표현(HIRs)을 제안한다. 이는 도메인 불변 표현(DIRs)의 엄격한 불변성을 완화하여, 원시 표현 대신 분류기 예측을 도메인 간에 정렬함으로써 이루어진다. 실험 결과 HIRs가 DIRs를 능가하고, 특히 심각한 데이터 손상 상황에서 사전 도메인 지식을 사용하는 방법과도 경쟁 수준의 성능을 보였다.

ABSTRACT

In domain generalization, multiple labeled non-independent and non-identically distributed source domains are available during training while neither the data nor the labels of target domains are. Currently, learning so-called domain invariant representations (DIRs) is the prevalent approach to domain generalization. In this work, we define DIRs employed by existing works in probabilistic terms and show that by learning DIRs, overly strict requirements are imposed concerning the invariance. Particularly, DIRs aim to perfectly align representations of different domains, i.e. their input distributions. This is, however, not necessary for good generalization to a target domain and may even dispose of valuable classification information. We propose to learn so-called hypothesis invariant representations (HIRs), which relax the invariance assumptions by merely aligning posteriors, instead of aligning representations. We report experimental results on public domain generalization datasets to show that learning HIRs is more effective than learning DIRs. In fact, our approach can even compete with approaches using prior knowledge about domains.

연구 동기 및 목표

• 원천 도메인 표현의 완벽한 정렬을 요구하는 도메인 불변 표현(DIRs)의 과도한 제약을 해결하기 위해.
• 원시 표현 대신 분류기 예측(후행 확률)의 정렬에 초점을 맞춰 도메인 일반화에서의 불변성 요구 조건을 완화하기 위해.
• 도메인 간의 유용한 구조적 관계(예: 회전 또는 손상 패턴)를 사전 지식 없이도 유지하기 위해.
• 학습된 예측 기반 불변성 덕분에, 심각한 데이터 손상 조건 하에서도 새로운 타겟 도메인으로 효과적으로 일반화할 수 있음을 보여주기 위해.
• HIRs가 표준 DIRs를 능가하고, 회전된 MNIST와 같은 강력한 사전 지식을 사용하는 방법과도 경쟁 가능함을 보여주기 위해.

제안 방법

• 정보 이론의 개념을 확장하여 도메인 일반화에서 표현의 충분성과 불변성을 확률적 프레임워크를 통해 정의한다.
• 원시 표현 대신 서로 다른 원천 도메인 간의 후행 확률(즉, 모델 예측)을 정렬하는 가설 불변 표현(HIRs)을 제안한다.
• 다양한 도메인에서의 예측 클래스 분포 간의 발산을 최소화하는 손실 함수를 사용하여, 명시적 밀도 추정 없이도 후행 정렬을 근사한다.
• HIR 손실과 표준 크로스 엔트로피 분류 손실 간의 균형을 맞추기 위해 하이퍼파rameter α를 도입하여 후행 정렬을 제어할 수 있도록 한다.
• 짝지어진 데이터와 비짝지어진 데이터 양쪽 모두에서 HIR 손실을 적용하여, 도메인 관계가 더 복잡한 비짝지어진 설정에서 성능 향상을 보였다.
• 다양한 벤치마크에서 평가: 쌍지어진/비짝지어진 설정이 있는 회전된 MNIST, 네 개의 독립 도메인으로 구성된 VLCS, 치명적인 손상 여 seven 가지가 있는 Tiny ImageNet-C; ResNet50 및 CCSA 아키텍처를 사용하였다.

Figure 1: The graphical model shows the relationship from domain $D$ , class $Y$ to the input data $X$ . A latent representation $Z$ is learned to predict $\hat{Y}$ . If $Y$ is independent of $D$ , $P_{Y|D}=P_{Y}$ . Else if $Y$ is dependent on $D$ , $P_{Y|D}\neq P_{Y}$ , which is denoted as an arrow

실험 결과

연구 질문

• RQ1 도메인 불변 표현(DIRs)이 원천 도메인 표현의 엄격한 정렬을 요구하는 것이 효과적인 도메인 일반화에 필수적인가?
• RQ2 원천 표현 대신 분류기 예측(후행 확률)을 도메인 간에 정렬하는 것이 원시 표현 정렬보다 더 나은 일반화를 이끌 수 있는가?
• RQ3 사전 지식이 없을 경우 표현 공간에서 도메인 간 상대적 공간적 구조를 유지하는 것이 일반화 성능 향상에 기여하는가?
• RQ4 블러나 노이즈와 같은 심각하고 다양한 데이터 손상 상황에서 HIR 손실은 어떻게 작동하는가?
• RQ5 강력한 도메인 이동에 대한 사전 지식을 사용하는 방법과 비교해 HIRs가 유사한 성능을 달성할 수 있는가?

주요 결과

• HIRs는 모든 평가된 데이터셋(회전된 MNIST, VLCS, Tiny ImageNet-C)에서 DIRs를 능가하며, 뛰어난 도메인 일반화 능력을 입증하였다.
• Tiny ImageNet-C에서 HIRs는 깨끗한 이미지를 도메인으로 포함하지 않더라도, 치명적인 손상 유형 7종 간의 다를 확률 분포를 효과적으로 정렬하여 최신 기술 수준의 성능을 달성하였다.
• 비짝지어진 학습 설정에서 HIR 손실이 더 효과적이었으며, 이는 후행 확률의 발산이 더 크기 때문에, HIRs가 도메인 간 구조적 차이에서 유의미하게 이점을 얻음을 시사한다.
• 노이즈 손상(예: 가우시안 노이즈, 임펄스 노이즈)의 경우 높은 α 값이 성능 향상에 기여하는 반면, 블러 손상의 경우 낮은 α 값이 더 좋다는 점에서, 손상 유형에 따라 적응적인 민감성을 보였다.
• 사전 지식이 없는 상황에서 조차도, HIRs가 회전된 MNIST와 같은 강력한 사전 지식을 사용하는 방법의 성능을 따라하거나 초월할 수 있었다.
• 회전된 MNIST의 짝지어진 설정에서 HIR 손실은 높은 후행 유사성로 인해 과적합을 유도하는 것으로 확인되었으며, 이는 HIRs가 도메인 관계가 비트리비얼하고 다양할 때 가장 효과적임을 확인한다.

Figure 2: Representations of three domains. Colors represent the two classes of the three domains. This shows that learning DIRs is too strict compared to learning HIRs because representations $Z$ of the three domains are hypothesis invariant as in ( 4 ) but not domain invariant as in ( 2 ) and ( 3