[논문 리뷰] Variational Disentanglement for Domain Generalization

Yufei Wang, Haoliang Li외 4명|arXiv (Cornell University)|2021. 09. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 12

한 줄 요약

이 논문은 도메인 일반화를 위한 변동형 분리 네트워크(VDN)를 제안하며, 변동형 추론 프레임워크를 사용하여 카테고리별 및 도메인별 특징을 분리하여 불변 기준 특징 분포로부터의 발산을 최소화한다. 새로운 증거 상한을 최적화하고 도메인에 관계없는 다양한 샘플을 생성함으로써 VDN은 미리 보지 않은 도메인에서 일반화 성능을 향상시켜 PACS, Office-Home, Digits-DG 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Domain generalization aims to learn an invariant model that can generalize well to the unseen target domain. In this paper, we propose to tackle the problem of domain generalization by delivering an effective framework named Variational Disentanglement Network (VDN), which is capable of disentangling the domain-specific features and task-specific features, where the task-specific features are expected to be better generalized to unseen but related test data. We further show the rationale of our proposed method by proving that our proposed framework is equivalent to minimize the evidence upper bound of the divergence between the distribution of task-specific features and its invariant ground truth derived from variational inference. We conduct extensive experiments to verify our method on three benchmarks, and both quantitative and qualitative results illustrate the effectiveness of our method.

연구 동기 및 목표

• 미리 보지 않은 도메인에서 불변 특징 표현을 학습하여 도메인 일반화 문제를 해결한다.
• 기존의 도메인 불변 특징 학습에서의 과적합 위험을 줄이기 위해 명시적으로 분리된 표현을 모델링한다.
• 모델이 생성한 현실적이고 다양한 샘플을 이용한 데이터 증강을 통해 일반화 성능을 향상시킨다.
• 원칙적인 변동형 추론 프레임워크 아래에서 특징 분리와 도메인 일반화를 통합한다.

제안 방법

• 작업별 특징 분포와 그들의 불변 기준 분포 사이의 발산을 측정하기 위해 변동형 추론 기반의 증거 상한을 제안한다.
• 카테고리별(zc) 및 도메인별(zd) 특징을 동시에 최적화하여 부재를 줄이고 사후 확률을 최대화하는 변동형 분리 네트워크(VDN)를 도입한다.
• zc가 의미적 콘텐츠를, zd가 도메인별 스타일을 포착하는 분리된 잠재 공간을 사용하여 스타일 전이 및 데이터 생성을 가능하게 한다.
• 다른 도메인 간에 zd를 교환하여 생성 네트워크를 사용해 새로운 이미지를 합성함으로써 다양한 훈련 샘플을 생성한다.
• 훈련 안정성 향상과 샘플 품질 향상을 위해 adversarial 훈련과 재구성 손실을 통합한다.
• 생성된 샘플을 증강 데이터로 활용하여 모델의 일반화 성능을 추가로 향상시키며, 기존 증강 전략과 호환된다.

실험 결과

연구 질문

• RQ1 변동형 분리가 도메인 간 불변 특징를 학습함으로써 도메인 일반화를 효과적으로 향상시킬 수 있는가?
• RQ2 특징 분포 발산에 대한 변동형 상한을 어떻게 유도하고 최적화할 수 있는가? 이를 통해 모델의 강건성을 향상시킬 수 있는가?
• RQ3 분리된 표현이 도메인 일반화에서 소스 도메인에 대한 과적합을 어느 정도 줄일 수 있는가?
• RQ4 분리된 잠재 공간에서 생성된 샘플이 미리 보지 않은 도메인에서 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ5 최신의 도메인 일반화 방법들과 비교했을 때, 제안된 방법은 정확도와 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• VDN은 PACS 벤치마크에서 최신 기준 성능을 달성하여 평균 정확도와 도메인 일반화 능력에서 이전 방법들을 능가한다.
• 절단 실험을 통해 생성된 샘플이 일반화 성능을 크게 향상시킴을 확인하였으며, 증강 훈련 데이터로 사용했을 때 정확도가 뚜렷이 향상됨을 보였다.
• 모델는 특히 사진에서 스케치로의 도메인 전이와 같은 도전적인 상황에서도 강력한 제로샷 일반화 성능을 보였다.
• 시각화 결과는 모델이 콘텐츠와 스타일을 성공적으로 분리하여 도메인 간 의미 있는 이미지 번역을 가능하게 했다.
• PACS, Office-Home, Digits-DG를 포함한 다양한 벤치마크에서 일관된 성능 향상을 보이며 강력한 기준 모델들보다도 우수한 일반화 성능을 보였다.