[논문 리뷰] Class-conditioned Domain Generalization via Wasserstein Distributional Robust Optimization

Jingge Wang, Yang Li외 2명|arXiv (Cornell University)|2021. 09. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 4

한 줄 요약

이 논문은 클래스 조건부 도메인 분포 변화 상황에서 모델의 견고성을 향상시키기 위해 워셔스타인 분포적 강건 최적화를 활용한 클래스 조건부 도메인 일반화 방법을 제안한다. 워셔스타인 바리센터를 통해 불확실성 집합을 모델링하고 반복적으로 최적의 반경을 학습함으로써, 기존의 도메인 일반화 및 베이스라인 대비 새로운 타겟 도메인에서 뛰어난 일반화 성능을 달성한다. 특히 클래스 간 조건부 분포 간 변동성이 높은 상황에서 두드러진 성능을 보인다.

ABSTRACT

Given multiple source domains, domain generalization aims at learning a universal model that performs well on any unseen but related target domain. In this work, we focus on the domain generalization scenario where domain shifts occur among class-conditional distributions of different domains. Existing approaches are not sufficiently robust when the variation of conditional distributions given the same class is large. In this work, we extend the concept of distributional robust optimization to solve the class-conditional domain generalization problem. Our approach optimizes the worst-case performance of a classifier over class-conditional distributions within a Wasserstein ball centered around the barycenter of the source conditional distributions. We also propose an iterative algorithm for learning the optimal radius of the Wasserstein balls automatically. Experiments show that the proposed framework has better performance on unseen target domain than approaches without domain generalization.

연구 동기 및 목표

• 동일한 클래스에 대한 타겟과 소스 분포가 상당히 다를 수 있는 클래스 조건부 도메인 분포 변화 문제를 다루기.
• 기존 도메인 일반화 방법이 동일한 클래스의 타겟 분포가 소스 분포와 유사하다고 가정하는 한계를 극복하기.
• 클래스별 바리센터 주변의 워셔스타인 볼로 정의된 불확실성 집합 내에서의 최악의 성능을 보장하는 강건 최적화 프레임워크 개발하기.
• 수동적인 하이퍼파라미터 튜닝 없이도 일반화 성능을 향상시키기 위해 워셔스타인 불확실성 집합의 최적 반경을 자동으로 학습하기.
• 특히 자원이 제한된 비지도 도메인 일반화 설정에서 실질적 데이터와 합성 데이터 양면에서 뛰어난 성능을 입증하기.

제안 방법

• 소스 클래스 조건부 분포의 워셔스타인 바리센터를 중심으로 하는 워셔스타인 볼을 사용해 클래스별 불확실성 집합 정의하기.
• 각 클래스의 불확실성 집합 내 모든 분포에 대해 최악의 리스크를 최소화하는 방식으로 강건 최적화 문제 설정하기.
• 분류기와 워셔스타인 볼의 반경을 동시에 최적화하여 적응형 불확실성 집합 크기를 학습하는 반복 알고리즘 사용하기.
• 워셔스타인 거리에 기반한 선형 제약 조건을 활용해 분포적 강건 최적화 문제를 볼록 최적화 문제로 변환하기.
• 다수의 소스 도메인이 존재할 경우 불확실성 집합 구축을 안정화하기 위해 바리센터를 기준 분포로 활용하기.
• 제한된 레이블 데이터를 가진 합성 가우시안 데이터와 실세계 배터리 용량 분류 과제에 프레임워크 적용하기.

실험 결과

연구 질문

• RQ1 워셔스타인 불확실성 집합을 활용한 분포적 강건 최적화가 클래스 조건부 도메인 분포 변화 상황에서 일반화 성능 향상에 기여하는가?
• RQ2 불확실성 집합 구축 시 개별 소스 분포 대비 워셔스타인 바리센터를 기준 분포로 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ3 수동으로 설정한 고정 반경 대비 자동으로 불확실성 집합 반경을 학습하는 것이 성능 향상에 기여하는가?
• RQ4 학습 중 타겟 데이터가 제공되지 않는 비지도 도메인 일반화 설정에서 제안된 방법의 성능은 어떠한가?
• RQ5 다양한 도메인 간 클래스 조건부 분포 간 변동성이 높은 상황에서, 기존 도메인 일반화 및 베이스라인 대비 성능이 뛰어나게 되는가?

주요 결과

• 가장 곤란한 배터리 데이터셋 설정(난이도 수준 6)에서 제안된 방법은 평균 테스트 정확도 0.806을 달성하여, 다음으로 우수한 비지도 방법(0.530)을 크게 앞서며 뚜렷한 성능 우위를 보였다.
• 가장 쉬운 설정(난이도 수준 1)에서는 0.806의 정확도를 기록했으며, 소스 데이터만 사용할 경우 반도급 기반 베이스라인(0.680)을 초월했다.
• 반경 학습 없이 고정된 초기 반경을 사용한 버전은 가장 쉬운 설정에서 뿐만 아니라 정확도 0.740에 그쳐, 적응형 반경 학습의 필요성을 입증했다.
• 합성 가우시안 데이터에서, 난이도 수준이 증가함에 따라 정확도가 0.806(수준 1)에서 0.530(수준 6)로 감소하는 등 일관된 성능 유지로 도메인 분포 변화에 대한 강건성을 입증했다.
• 모든 비지도 기반 베이스라인(모든 소스 데이터 혼합 포함)을 초월했으며, 특히 곤란한 설정에서는 일부 반도급 접근 방식을도 뛰어넘는 성능을 기록했다.
• 반복적인 반경 학습 알고리즘이 데이터 복잡도에 적응하여 성능을 향상시키며, 난이도 증가에 따라 클래스 1의 반경은 약 3.44에서 2.65로, 클래스 2의 반경은 약 4.02에서 2.37로 감소하는 경향을 보였다.