[논문 리뷰] Towards Understanding Sharpness-Aware Minimization

Maksym Andriushchenko, Nicolas Flammarion|arXiv (Cornell University)|2022. 06. 13.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 샤프nees-aware 미니멀라이제이션(SAM)에 대한 이론적 및 실증적 분석을 제공하며, SAM의 암묵적 편향이 표준 SGD보다 더 평탄한 최소값과 더 나은 일반화 성능을 선호함을 보여준다. 특히 m-sharpness를 사용할 경우 더욱 그렇다. 비볼록 목표 함수에 대해 수렴성을 증명하고, SAM이 일반화 성능을 크게 향상시킴을 실증적으로 입증한다. 이는 특히 중간 폭의 모델과 노이즈가 있는 레이블 상황에서 두드러진다.

ABSTRACT

Sharpness-Aware Minimization (SAM) is a recent training method that relies on worst-case weight perturbations which significantly improves generalization in various settings. We argue that the existing justifications for the success of SAM which are based on a PAC-Bayes generalization bound and the idea of convergence to flat minima are incomplete. Moreover, there are no explanations for the success of using $m$-sharpness in SAM which has been shown as essential for generalization. To better understand this aspect of SAM, we theoretically analyze its implicit bias for diagonal linear networks. We prove that SAM always chooses a solution that enjoys better generalization properties than standard gradient descent for a certain class of problems, and this effect is amplified by using $m$-sharpness. We further study the properties of the implicit bias on non-linear networks empirically, where we show that fine-tuning a standard model with SAM can lead to significant generalization improvements. Finally, we provide convergence results of SAM for non-convex objectives when used with stochastic gradients. We illustrate these results empirically for deep networks and discuss their relation to the generalization behavior of SAM. The code of our experiments is available at https://github.com/tml-epfl/understanding-sam.

연구 동기 및 목표

• PAC-Bayes 경계와 평탄한 최소값 수렴에 기반한 기존 SAM 성공에 대한 설명의 불완전성을 해결하기 위해.
• SAM에서 m-sharpness가 일반화에 필수적인 이유를 탐구하며, 특히 최악의 경우 가중치 편향 상황에서의 차이를 분석하기 위해.
• 대각선 선형 네트워크에서 SAM의 암묵적 편향을 이론적으로 분석하고, 비선형 네트워크에서 실증적으로 검증하기 위해.
• 비볼록 최적화에서 스트로스틱 기울기 하에서 SAM의 수렴 보장을 수립하기 위해.
• 딥 네트워크에서의 실증적 평가를 통해 SAM의 수렴 행동과 일반화 성능 간의 관계를 규명하기 위해.

제안 방법

• m-sharpness를 핵심 구성요소로 사용하여 대각선 선형 네트워크에서 SAM의 암묵적 편향에 대한 이론적 분석.
• SAM을 통한 표준 모델의 피니튜닝을 통한 비선형 네트워크에서 SAM의 암묵적 편향에 대한 실증적 연구.
• 스토케스틱 비볼록 최적화 설정에서 SAM의 수렴성 도출 및 증명.
• 일반화에 미치는 영향을 평가하기 위해 다양한 m(최악의 경우 편향에 사용되는 예제 수)을 사용한 m-SAM 활용.
• 다양한 배치 크기, 모델 폭, 편향 반경을 가진 CIFAR-10 및 CIFAR-100에서 ResNet-18과 ResNet-34를 사용한 실증적 평가.
• 기울기 정규화 유무 및 시간이 지남에 따라 감소하는 편향 반경 ρ를 가진 SAM과의 비교.

실험 결과

연구 질문

• RQ1 왜 m-sharpness는 SAM의 일반화 성능에 필수적인가? 평균적 경우의 안정성과는 어떻게 다를까?
• RQ2 선형 및 비선형 설정 모두에서 SAM의 암묵적 편향은 표준 SGD보다 항상 더 평탄하고 일반화 성능이 뛰어난 최소값을 선호하는가?
• RQ3 비볼록 딥 러닝 목표 함수에서 SAM의 수렴 행동은 일반화 성능과 어떻게 관련이 있는가?
• RQ4 최악의 경우 편향에 사용되는 m(예제 수)를 변화시켰을 때 일반화 성능과 학습 안정성에 어떤 영향을 미치는가?
• RQ5 레이블 노이즈 상황에서 SAM의 성능은 어떠한가? 기울기 정규화 또는 감소하는 편향 반경 ρ는 성능에 영향을 미치는가?

주요 결과

• SAM은 대각선 선형 네트워크에서 표준 SGD보다 항상 더 나은 일반화 성능을 보이는 해를 선택하며, 이 효과는 m-sharpness를 사용할수록 더욱 뚜렷하다.
• 실증 결과에 따르면, 표준 모델을 SAM으로 피니튜닝하면 일반화 성능 향상이 뚜렷하게 나타나며, 특히 중간 폭의 모델(예: 폭 인자 16에서 가장 큰 성과 기록)에서 두드러진다.
• m가 배치 크기와 동일한 SAM은 표준 SGD에 비해 약간의 성능 향상을 보이지만, 대배치와 소배치 SGD 간의 일반화 갭을 완전히 메우진 못한다.
• 시간이 지남에 따라 편향 반경 ρ를 감소시키는 것은 일반화에 악영향을 미치며, 이는 수렴성과 성능 향상 측면에서 일정한 ρ 유지가 바람직함을 시사한다.
• 60%의 레이블 노이즈 상황에서 SAM의 기울기 정규화 유무에 관계없이 거의 동일한 테스트 오차를 기록함으로써, 노이즈 상황에서 기울기 정규화에 대한 강건성을 입증한다.
• SAM의 학습 목표 함수는 일관되게 감소하는 경향을 보이며, 이는 학습 오차 증가가 최적화 실패 때문이 아니라 목표 함수의 구조적 특성임을 확인한다.