[논문 리뷰] Domain Generalization Needs Stochastic Weight Averaging for Robustness on Domain Shifts.

Junbum Cha, Hancheol Cho외 4명|arXiv (Cornell University)|2021. 02. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 14

한 줄 요약

이 논문은 여러 소스 도메인에서 공유되는 손실 골짜기 중심을 찾기 위해 Stochastic Weight Averaging (SWA)를 사용하여 도메인 일반화를 향상시키는 것을 제안한다. 이는 미리 보지 못한 도메인에서의 강건성과 성능을 크게 향상시킨다. 이는 PACS, OfficeHome, DomainNet을 포함한 여섯 가지 주요 벤치마크에서 기존 방법들에 비해 큰 격차로 최신 기술 성능을 달성한다.

ABSTRACT

Domain generalization aims to learn a generalizable model to unseen target domains from multiple source domains. Various approaches have been proposed to address this problem. However, recent benchmarks show that most of them do not provide significant improvements compared to the simple empirical risk minimization (ERM) in practical cases. In this paper, we analyze how ERM works in views of domain-invariant feature learning and domain-specific gradient normalization. In addition, we observe that ERM converges to a loss valley shared over multiple training domains and obtain an insight that a center of the valley generalizes better. To estimate the center, we employ stochastic weight averaging (SWA) and provide theoretical analysis describing how SWA supports the generalization bound for an unseen domain. As a result, we achieve state-of-the-art performances over all of widely used domain generalization benchmarks, namely PACS, VLCS, OfficeHome, TerraIncognita, and DomainNet with large margins. Further analysis reveals how SWA operates on domain generalization tasks.

연구 동기 및 목표

• 실세계 벤치마크에서 기존 도메인 일반화 방법의 일반화 성능 향상이 제한적인 이유를 해결하기 위해.
• 단순한 경험적 리스크 최소화(Empirical Risk Minimization, ERM)가 왜 종종 더 복잡한 도메인 일반화 접근법보다 성능이 뛰어나게 되는지 조사하기 위해.
• 도메인 간 공유되는 중심 모델 가중치 설정을 추정하여 도메인 분포 변화에 대한 강건성을 향상시키기 위해.
• SWA가 새로운 도메인에 대한 일반화 경계를 향상시킨다는 이론적 및 실험적 검증을 위해.

제안 방법

• 도메인 불변 특징 학습과 도메인별 기울기 정규화 관점에서 ERM를 분석하기 위해.
• ERM가 훈련 도메인 간 공통된 손실 골짜기로 수렴한다는 관찰을 통해, 골짜기 중심이 더 나은 일반화 솔루션임을 시사한다.
• 다양한 훈련 경로에서의 가중치를 평균하여 손실 골짜기 중심을 추정하기 위해 Stochastic Weight Averaging (SWA)를 적용하기 위해.
• SWA가 새로운 도메인에 대한 향상된 일반화 경계와 연결됨을 이론적으로 분석하기 위해.
• 여러 소스 도메인에서 SWA를 사용해 모델을 훈련하고, 새로운 타겟 도메인에서 평가하여 강건성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 실제로 ERM가 왜 더 복잡한 도메인 일반화 방법들보다 성능이 뛰어나게 되는가?
• RQ2 도메인 간 공유되는 손실 골짜기 중심이 기존 ERM나 다른 도메인 일반화 접근법보다 더 강건한 모델이 될 수 있는가?
• RQ3 SWA는 도메인 일반화 설정에서 일반화를 어떻게 향상시키는가?
• RQ4 SWA의 효과성에 대한 이론적 근거는 무엇인가?

주요 결과

• SWA는 PACS, VLCS, OfficeHome, TerraIncognita, DomainNet을 포함한 여섯 가지 주요 도메인 일반화 벤치마크에서 모두 최신 기술 성능을 달성한다.
• 제안된 방법은 모든 벤치마크에서 기존 도메인 일반화 방법들에 비해 큰 격차로 뛰어난 성능을 보인다.
• SWA를 통해 추정된 손실 골짜기 중심은 기존 ERM나 다른 도메인 일반화 접근법보다 새로운 도메인으로의 일반화 성능이 뛰어나다.
• 이론적 분석을 통해 SWA가 새로운 도메인에 대해 더 날카로운 일반화 경계를 지원함을 확인하였다.