[논문 리뷰] Diverse Weight Averaging for Out-of-Distribution Generalization

Alexandre Ramé, Matthieu Kirchmeyer외 4명|arXiv (Cornell University)|2022. 05. 19.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 공통 초기화를 공유하는 다수의 독립적으로 훈련된 모델의 가중치를 평균화함으로써 분포 외 일반화 성능을 향상시키는 새로운 가중치 평균화 방법인 Diverse Weight Averaging(DiWA)을 제안한다. DiWA는 기능적 다양성을 증가시켜 추론 오버헤드 없이 DomainBed 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 특히 다양성 이동(covariate shift) 상황에서 뛰어난 성능을 보인다. 이는 새로운 편향-분산-공분산-국소성 오차 분해를 통해 검증되었다.

ABSTRACT

Standard neural networks struggle to generalize under distribution shifts in computer vision. Fortunately, combining multiple networks can consistently improve out-of-distribution generalization. In particular, weight averaging (WA) strategies were shown to perform best on the competitive DomainBed benchmark; they directly average the weights of multiple networks despite their nonlinearities. In this paper, we propose Diverse Weight Averaging (DiWA), a new WA strategy whose main motivation is to increase the functional diversity across averaged models. To this end, DiWA averages weights obtained from several independent training runs: indeed, models obtained from different runs are more diverse than those collected along a single run thanks to differences in hyperparameters and training procedures. We motivate the need for diversity by a new bias-variance-covariance-locality decomposition of the expected error, exploiting similarities between WA and standard functional ensembling. Moreover, this decomposition highlights that WA succeeds when the variance term dominates, which we show occurs when the marginal distribution changes at test time. Experimentally, DiWA consistently improves the state of the art on DomainBed without inference overhead.

연구 동기 및 목표

• 분포 이동, 특히 공변량 이동 상황에서 시각 모델의 분포 외 일반화 성능 향상.
• 기존 가중치 평균화(WA) 방법이 모델 다양성을 명시적으로 촉진하지 못하는 한계를 해결.
• 편향-분산-공분산-국소성 분해를 통해 WA의 분포 외 일반화 성능 향상에 대한 이론적 기반 제공.
• 가중치 평균화된 모델 간의 다양성이 증가할수록 분포 외 성능 향상이 이루어지는지 경험적으로 검증.
• 기존 도메인 일반화 방법과의 비교에서 추론 효율성이 뛰어난 강력한 대안으로 DiWA를 정립.

제안 방법

• DiWA는 동일한 시드에서 초기화된 다수의 독립적 훈련 런에서 유도된 모델 가중치를 평균화함으로써 기능적 다양성을 증가시킨다.
• 이 방법은 가중치 공간 내 선형 모드 연결성(linear mode connectivity)을 활용하며, 이는 공통 사전학습 초기화로부터 시작할 경우 경험적으로 검증된다.
• 기대 오차를 편향, 분산, 공분산, 국소성 항으로 분해하는 이론적 접근을 사용하여 방법의 타당성을 뒷받침한다.
• 모수 분포 이동(marginal distribution shift, 다양성 이동) 상황에서 분산 항이 증가하며, DiWA는 모델 다양성을 증가시켜 이 항을 강화한다.
• 재훈련이나 아키텍처 변경 없이, 훈련 후 단순히 가중치 평균화에 의존한다.
• DiWA는 DomainBed 벤치마크에서 다수의 도메인에 대해 훈련된 모델에 적용되며, 추가적인 추론 비용 없이 작동한다.

실험 결과

연구 질문

• RQ1 왜 가중치 평균화가 분포 외 일반화 성능을 향상시키며, 어떤 분포 이동 상황에서 가장 효과적인가?
• RQ2 모델 다양성이 분포 외 설정에서 가중치 평균화된 모델의 성능에 어떤 영향을 미치는가?
• RQ3 편향, 분산, 공분산, 국소성 항으로 분해된 오차 이론적 분석이 WA의 성공을 설명할 수 있는가?
• RQ4 공통 초기화를 공유하는 독립적 훈련 런에서 유도된 모델을 평균화하는 것이 단일 훈련 경로를 따라 평균화하는 것보다 분포 외 성능 향상에 더 효과적인가?
• RQ5 다양한 유형의 분포 이동 상황에서 IRM 및 Fishr와 같은 최신 기술 도메인 일반화 방법과 비교해 DiWA는 어떻게 성능을 내는가?

주요 결과

• DiWA는 추론 오버헤드 없이 DomainBed 벤치마크의 모든 실세계 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.
• ColoredMNIST 데이터셋에서 DiWA-uniform과 DiWA-restricted는 ERM 및 MA를 모두 초월하며, 특히 DiWA-restricted는 테스트 도메인 모델 선택 상황에서 55.7%의 정확도를 기록한다.
• 관련성 이동(correlation shift, 예: 허위 상관관계가 존재하는 ColoredMNIST) 상황에서는 WA가 성능 향상을 보이지 않으며, 이는 DiWA가 주로 다양성 이동 상황에서 효과적임을 확인한다.
• DiWA는 모든 DomainBed 데이터셋에서 일관되게 분포 외 일반화 성능을 향상시키며, 특히 다양한 훈련 런에서 유도된 모델을 선택할 경우 성능 향상이 두드러진다.
• 목표 도메인 데이터(예: Office-Home)에 대해 최종 레이어 재훈련을 적용할 경우, DiWA 기반 특징 추출기의 성능이 ERM 기반 모델을 능가하며, 80%의 타겟 데이터를 사용할 때 78.1%의 정확도를 달성한다.
• 이론적 분해 결과, WA는 분산 항이 지배할 때 성공하며, 이는 모수 분포 이동(다양성 이동) 상황에서 발생한다. 이는 DiWA의 핵심 설계 원리가 타당함을 검증한다.