[논문 리뷰] Sharpness-Aware Gradient Matching for Domain Generalization

Pengfei Wang, Zhaoxiang Zhang외 2명|arXiv (Cornell University)|2023. 03. 18.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 낮은 손실을 가진 평탄한 최소점으로 수렴하기 위해 경험적 손실, 변형된 손실, 그리고 그 둘 간의 격차를 동시에 최소화하는 새로운 도메인 일반화 방법인 Sharpness-Aware Gradient Matching (SAGM)을 제안한다. SAGM는 경험적 손실과 변형된 손실 간의 기울기 방향을 암묵적으로 일치시켜, 추가적인 계산 비용 없이 SAM 및 GSAM를 능가하는 일반화 성능을 달성하며, DomainBed 기준 66.1%의 평균 정확도로 최신 기준 성능을 달성한다.

ABSTRACT

The goal of domain generalization (DG) is to enhance the generalization capability of the model learned from a source domain to other unseen domains. The recently developed Sharpness-Aware Minimization (SAM) method aims to achieve this goal by minimizing the sharpness measure of the loss landscape. Though SAM and its variants have demonstrated impressive DG performance, they may not always converge to the desired flat region with a small loss value. In this paper, we present two conditions to ensure that the model could converge to a flat minimum with a small loss, and present an algorithm, named Sharpness-Aware Gradient Matching (SAGM), to meet the two conditions for improving model generalization capability. Specifically, the optimization objective of SAGM will simultaneously minimize the empirical risk, the perturbed loss (i.e., the maximum loss within a neighborhood in the parameter space), and the gap between them. By implicitly aligning the gradient directions between the empirical risk and the perturbed loss, SAGM improves the generalization capability over SAM and its variants without increasing the computational cost. Extensive experimental results show that our proposed SAGM method consistently outperforms the state-of-the-art methods on five DG benchmarks, including PACS, VLCS, OfficeHome, TerraIncognita, and DomainNet. Codes are available at https://github.com/Wang-pengfei/SAGM.

연구 동기 및 목표

• 도메인 일반화에서 SAM 유사 방법이 낮은 손실을 가진 평탄한 최소점으로 수렴하는 데에 한계가 있음을 해결한다.
• 효율적인 일반화를 위한 두 가지 핵심 조건을 규명한다: 이웃 영역 내 낮은 손실과 손실 곡면의 평탄함.
• 경험적 손실, 변형된 손실, 그리고 그 둘 간 격차를 동시에 최적화하여 두 조건을 만족시키는 방법을 개발한다.
• 기울기 일치를 활용해 계산 비용을 증가시키지 않으면서 일반화 성능을 향상시킨다.
• 표준 도메인 일반화 벤치마크에서 최신 기준 성능을 넘어서는 일관된 성능 향상을 입증한다.

제안 방법

• 경험적 손실 $\mathcal{L}(\theta)$, 변형된 손실 $\mathcal{L}_p(\theta)$, 그리고 그 격차의 대체 함수 $h(\theta) = \mathcal{L}_p(\theta) - \mathcal{L}(\theta)$를 동시에 최소화하는 삼목적 최적화를 제안한다.
• 목적 함수를 $\mathcal{L}(\theta)$, $\mathcal{L}_p(\theta)$의 기울기 간의 각도를 최소화하도록 설정하여 기울기 일치를 가능하게 한다.
• 편미분 방향 $\epsilon = \alpha \nabla\mathcal{L}(\theta)$를 사용해 $\theta + \epsilon$에서 변형된 손실을 계산하며, 날카움을 고려한 업데이트를 근사한다.
• 경험적 손실과 변형된 손실 간의 기울기 방향이 일致하도록 보장함으로써 암묵적 기울기 일치를 도입하여 기울기 갈등을 방지한다.
• 추가적인 순방향 전파나 복잡한 헤시안 근사 없이 계산 효율성을 유지한다.
• 표준 딥러닝 프레임워크와 호환되는 표준 학습 파이프라인에서 종단 간(end-to-end)으로 방법을 적용한다.

실험 결과

연구 질문

• RQ1 경험적 손실, 변형된 손실, 그리고 그 둘 간 격차를 동시에 최소화하면 도메인 일반화에서 더 평탄한 최소점과 낮은 손실을 얻을 수 있는가?
• RQ2 경험적 손실과 변형된 손실 간의 기울기 일치가 일반화 가능한 최소점으로의 수렴을 향상시키는가?
• RQ3 다양한 도메인 이동 시나리오에서 SAGM은 SAM 및 GSAM에 비해 일반화 성능에서 어떻게 비교되는가?
• RQ4 SAGM은 사전 훈련된 모델이나 추가 데이터 증강에 의존하지 않고 최신 기준 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 도메인 일반화 작업에서 일반화 성능 향상을 유지하면서도 계산 효율성을 유지하는가?

주요 결과

• SAGM는 DomainBed 벤치마크에서 66.1%의 평균 정확도를 기록하여, ERM, SAM, GSAM, ERM+SAM을 모두 초월한다.
• PACS 데이터셋에서 SAGM는 스케치 도메인에서 86.6%의 정확도를 달성하여 SAM(85.8%) 및 GSAM(85.9%)를 뚜렷이 앞서며 성능을 높였다.
• SAGM는 PACS, VLCS, OfficeHome, TerraIncognita, DomainNet의 다섯 벤치마크 전반에서 일관되게 일반화 성능을 향상시켰다.
• 국소 날카움 분석 결과, SAGM는 SAM 및 GSAM보다 더 평탄한 최소점으로 수렴하며, 다양한 편미분 반경에서 가장 작은 손실 격차 $h_\rho(\theta)$를 보였다.
• 절단 실험 결과, SAGM의 기울기 일치가 ERM+SAM 대비 평균 1.3%의 성능 향상을 기여함을 확인하여 그 효과를 입증했다.
• SAGM는 CLIP 기반 사전 훈련된 모델을 사용하는 Miro 방법을 능가하며, 외부 사전 훈련 없이도 뛰어난 일반화 능력을 보였다.