[논문 리뷰] Learning to Diversify for Single Domain Generalization

Zijian Wang, Yadan Luo외 3명|arXiv (Cornell University)|2021. 08. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 4

한 줄 요약

이 논문은 단일 도메인 일반화(Single-DG)를 위한 새로운 방법인 학습을 통한 다양화(L2D)를 제안한다. 이 방법은 단일 소스 도메인에서 분포를 벗어난 다양한 이미지를 생성하기 위해 스타일 보완 모듈을 사용한다. 생성된 샘플과 소스 샘플 간의 상호정보량을 반복적으로 최소화함으로써 다양성을 확보하고, 동일 클래스의 샘플 간 상호정보량을 최대화함으로써 불변성을 확보함으로써, 최신 기준을 초월하는 성능을 달성한다. 이는 기존 방법보다 벤치마크 데이터셋에서 최대 25.14% 높은 정확도를 기록한다.

ABSTRACT

Domain generalization (DG) aims to generalize a model trained on multiple source (i.e., training) domains to a distributionally different target (i.e., test) domain. In contrast to the conventional DG that strictly requires the availability of multiple source domains, this paper considers a more realistic yet challenging scenario, namely Single Domain Generalization (Single-DG), where only one source domain is available for training. In this scenario, the limited diversity may jeopardize the model generalization on unseen target domains. To tackle this problem, we propose a style-complement module to enhance the generalization power of the model by synthesizing images from diverse distributions that are complementary to the source ones. More specifically, we adopt a tractable upper bound of mutual information (MI) between the generated and source samples and perform a two-step optimization iteratively: (1) by minimizing the MI upper bound approximation for each sample pair, the generated images are forced to be diversified from the source samples; (2) subsequently, we maximize the MI between the samples from the same semantic category, which assists the network to learn discriminative features from diverse-styled images. Extensive experiments on three benchmark datasets demonstrate the superiority of our approach, which surpasses the state-of-the-art single-DG methods by up to 25.14%.

연구 동기 및 목표

• 학습 중에 단일 소스 도메인만 이용 가능한 상황, 즉 단일-DG에서 발생하는 도메인 일반화 과제를 해결하기 위해.
• 단일-DG에서 발생하는 제한된 데이터 다양성이 새로운 타겟 도메인으로의 모델 일반화 능력을 저해하는 문제를 해결하기 위해.
• 분류기의 훈련 중에 도전이 되는 분포를 벗어난 다양한 이미지를 생성함으로써 모델의 강건성을 향상시키기 위해.
• 동일 클래스 샘플 간 상호정보량 최대화를 통해 스타일 불변 표현을 학습하기 위해.
• 표본 다양성과 특징 구분 능력을 번갈아가며 향상시키는 최소-최대 최적화 프레임워크를 개발하기 위해.

제안 방법

• 원래 소스 도메인에 존재하지 않는 새로운 다양성 스타일을 가진 이미지를 생성하기 위해 스타일 보완 모듈을 도입한다.
• 잠재 공간에서 생성된 샘플과 소스 샘플 간의 다양성을 강제하기 위해 상호정보량(MI)의 계산 가능한 상한을 사용한다.
• 두 단계로 이루어진 반복 최적화 과정에서, 먼저 생성된 샘플과 소스 샘플 쌍 간의 MI를 최소화하여 분포 간의 분리도를 극대화한다.
• 다음으로, 동일한 의미적 카테고리에 属하는 샘플 간의 MI를 최대화하여 구분 가능한 스타일 불변 특징를 학습한다.
• 스타일 보완 모듈과 주요 작업 모델 간에 최소-최대 게임을 수행하며, 생성된 이미지가 모델의 일반화 능력을 향상시키기 위한 적대적 도전이 된다.
• 다양성(상호정보량 최소화를 통한)과 불변성(상호정보량 최대화를 통한) 목적을 통합한 손실 함수를 사용해 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습 중에 단일 소스 도메인만 이용 가능한 상황에서 단일 도메인 일반화 모델이 뛰어난 일반화 성능을 달성할 수 있는가?
• RQ2 다양한 소스 도메인이 존재하지 않는 상황에서 도메인 이동을 시뮬레이션하기 위해 효과적인 데이터 증강을 어떻게 달성할 수 있는가?
• RQ3 상호정보량 최적화가 단일-DG에서 특징 강건성과 모델 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 다양하고 분포를 벗어난 이미지를 생성하는 것이 새로운 타겟 도메인으로의 일반화 능력을 향상시키는 데 기여하는가?
• RQ5 도메인 식별자가 없는 상황에서 다양성과 불변성 학습 간의 상호작용이 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 L2D 방법은 숫자 인식, 손상된 CIFAR-10, PACS 세 가지 벤치마크 데이터셋에서 최신 기준을 초월하며, 기존의 단일-DG 방법보다 정확도에서 최대 25.14% 향상된 성능을 기록한다.
• 제거 실험 결과, 스타일 보완 모듈을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이 모듈이 일반화 능력을 향상시키는 데 핵심적인 역할을 한다는 것을 입증한다.
• 스타일 수정 또는 상호정보량 최적화 구성 요소를 제거할 경우 각각 1.35%와 3.76%의 성능 저하가 발생함을 통해, 두 구성 요소 모두 중요함을 입증한다.
• 민감도 분석 결과, k=6개의 변환을 사용할 경우 다양성이 최적화되며, k>5를 초과하면 성능이 안정화되고 α₁=α₂=1일 때 최고 성능을 기록한다.
• t-SNE 시각화 결과, L2D는 기준 모델 대비 더 격차가 크고 잘 분리된 클래스 클러스터를 생성함을 확인하여, 향상된 특징 구분 능력과 도메인 불변성을 확인한다.
• 이 방법은 떼어내기 도메인 외부 기준에서 표준 도메인 일반화에도 잘 일반화됨을 확인하여, 단일-DG를 넘어서 보다 광범위한 적용 가능성을 입증한다.