Skip to main content
QUICK REVIEW

[논문 리뷰] Efficient Sharpness-aware Minimization for Improved Training of Neural Networks

Jiawei Du, Hanshu Yan|arXiv (Cornell University)|2021. 10. 07.
Advanced Neural Network ApplicationsComputer Science참고 문헌 31인용 수 26
한 줄 요약

ESAM은 확률적 가중치 섭동과 샤프니스에 민감한 데이터 선택을 도입하여 Sharpness Aware Minimization(SAM)의 계산 오버헤드를 줄이면서, SAM과 비교했을 때 일반화 성능을 보존하거나 개선합니다.

ABSTRACT

Overparametrized Deep Neural Networks (DNNs) often achieve astounding performances, but may potentially result in severe generalization error. Recently, the relation between the sharpness of the loss landscape and the generalization error has been established by Foret et al. (2020), in which the Sharpness Aware Minimizer (SAM) was proposed to mitigate the degradation of the generalization. Unfortunately, SAM s computational cost is roughly double that of base optimizers, such as Stochastic Gradient Descent (SGD). This paper thus proposes Efficient Sharpness Aware Minimizer (ESAM), which boosts SAM s efficiency at no cost to its generalization performance. ESAM includes two novel and efficient training strategies-StochasticWeight Perturbation and Sharpness-Sensitive Data Selection. In the former, the sharpness measure is approximated by perturbing a stochastically chosen set of weights in each iteration; in the latter, the SAM loss is optimized using only a judiciously selected subset of data that is sensitive to the sharpness. We provide theoretical explanations as to why these strategies perform well. We also show, via extensive experiments on the CIFAR and ImageNet datasets, that ESAM enhances the efficiency over SAM from requiring 100% extra computations to 40% vis-a-vis base optimizers, while test accuracies are preserved or even improved.

연구 동기 및 목표

  • 과매개변수화된 DNN에서 일반화를 개선하기 위해 평탄한 미니마를 촉진할 필요성을 제시한다.
  • 샤프니스 인식 미니마이저(SAM)를 효율성 향상 전략으로 확장하되 성능 저하를 방지한다.
  • ESAM 두 구성요소: 확률적 가중치 섭동(SWP) 및 샤프니스-민감 데이터 선택(SDS)을 개발하고 평가한다.
  • SWP와 SDS에 대한 이론적 정당성을 제공하고 CIFAR-10, CIFAR-100 및 ImageNet에서의 광범위한 실험으로 이를 검증한다.

제안 방법

  • SAM 및 그 계산상의 단점을 검토: 샤프니스에 대한 내부 최적화는 매 반복마다 추가적인 순전파/역전파를 필요로 한다.
  • SWP와 SDS 두 가지 전략을 통합하여 ESAM을 도입한다.
  • SWP: 샤프니스 추정 중 가중치의 부분 집합을 섭동으로 임의로 선택하고, 섭동의 기대값이 SAM의 값과 같도록 섭동을 스케일링하여 역전파 비용을 줄인다.
  • SDS: 가중치 섭동 하에서 손실이 가장 크게 증가하는 각 배치의 데이터 부분집합을 선택하여 더 적은 샘플로 SAM 목표를 근사한다.
  • SWP의 기대 섭동이 노름과 방향에서 SAM과 일치하고, SDS가 샤프니스-민감 부분집합을 사용하여 SAM 손실을 상한한다는 이론적 주장을 제시한다.
  • 알고리즘 1은 주변 크기, 섭동 스케일링, 부분집합 비율에 대한 매개변수로 ESAM을 개략적으로 설명한다.

실험 결과

연구 질문

  • RQ1ESAM이 계산 오버헤드를 줄이면서 SAM과 유사한 평탄한 최소점을 달성할 수 있는가?
  • RQ2확률적 가중치 섭동이 샤프니스 추정의 정밀도에 미치는 영향은 무엇인가?
  • RQ3샤프니스-민감 데이터 선택이 SAM의 일반화를 보존하면서 학습 효율성을 향상시키는가?
  • RQ4SWP와 SDS가 개별적으로 그리고 함께 여러 아키텍처 및 데이터세트에서 어떻게 작동하는가?

주요 결과

  • ESAM은 SAM의 약 100% 추가 계산에서 벗어나 기본 최적화기 대비 약 40%의 오버헤드로 유지 또는 향상된 테스트 정확도를 제공한다.
  • CIFAR-10/100에서 ESAM은 다수의 아키텍처(ResNet-18, Wide-ResNet-28-10, PyramidNet-110)에서 SAM보다 더 높거나 동등한 정확도와 더 높은 처리량(이미지/초)을 달성한다.
  • ImageNet에서 ESAM은 SAM보다 더 높은 정확도를 제공하며(예: ResNet-50 및 ResNet-101), SAM 대비 약 28.7% 더 빠른 학습 속도를 보인다.
  • 절멸 연구에서 SWP와 SDS가 모두 효율성과 성능을 향상시키며, 최적 설정은 일반적으로 β ≈ 0.5–0.6 및 γ ≈ 0.5 부근이다.
  • 손실 지형도 시각화는 ESAM이 SAM과 유사한 더 평탄한 최소점을 달성하고 SGD보다 우수함을 시사한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.