[논문 리뷰] When Do Flat Minima Optimizers Work?

Jean Kaddour, Linqing Liu외 2명|arXiv (Cornell University)|2022. 02. 01.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 컴퓨터 시각, 자연어 처리(NLP), 그래프 표현 학습 분야의 42개 작업에서 Stochastic Weight Averaging(SWA)와 Sharpness-Aware Minimization(SAM)이라는 두 가지 주요 평평한 최소값 최적화 방법을 종합적으로 실험적으로 비교한다. 헤시안 분석을 통해 SAM이 더 평평한 최소값을 찾는다 해도, SWA가 더 나은 일반화 성능를 보이며, 특히 그래프 학습에서 두드러진다. SAM의 반복값을 평균내면 가장 평탄한 해를 얻을 수 있고, 성능의 차이는 모델 아키텍처와 데이터셋에 매우 의존한다.

ABSTRACT

Recently, flat-minima optimizers, which seek to find parameters in low-loss neighborhoods, have been shown to improve a neural network's generalization performance over stochastic and adaptive gradient-based optimizers. Two methods have received significant attention due to their scalability: 1. Stochastic Weight Averaging (SWA), and 2. Sharpness-Aware Minimization (SAM). However, there has been limited investigation into their properties and no systematic benchmarking of them across different domains. We fill this gap here by comparing the loss surfaces of the models trained with each method and through broad benchmarking across computer vision, natural language processing, and graph representation learning tasks. We discover several surprising findings from these results, which we hope will help researchers further improve deep learning optimizers, and practitioners identify the right optimizer for their problem.

연구 동기 및 목표

• 컴퓨터 시각, NLP, 그래프 표현 학습 등 다양한 딥러닝 도메인에서 SWA와 SAM을 체계적으로 비교하기.
• 모델 아키텍처와 데이터셋 특성이 평평한 최소값 최적화 방법의 효과성에 미치는 영향을 조사하기.
• 헤시안 고유값과 선형 보간을 활용해 SWA와 SAM이 찾는 손실 함수 표면의 기하학적 특성과 최소값의 평탄함을 분석하기.
• 평탄한 최소값 최적화 방법이 일반화 성능을 향상시키는 조건과 실패하는 조건을 규명하기.
• 향후 연구 및 실무자 사용을 위해 재현 가능한 벤치마크를 제공하고, 코드와 하이퍼파ram터를 오픈소스로 공개하기.

제안 방법

• 표준화된 훈련 프로토콜을 사용해 이미지 분류, NLP, 그래프 학습 등 다양한 작업 42개에서 SWA와 SAM을 기반으로 모델을 훈련시켰다.
• 손실 함수 표면 기하학을 시각화하고 평탄함을 정량화하기 위해 모델 가중치 간 선형 보간을 사용했다.
• 헤시안 고유값을 계산해 SWA와 SAM이 찾는 최소값의 평탄함을 정량적으로 비교했다.
• 각 작업과 모델 아키텍처에 맞는 하이퍼파ram터 튜닝을 포함한 엄격한 모델 선택 절차를 적용했다.
• SWA와 SAM을 융합한 하이브리드 최적화 전략을 탐색하기 위해 WASAM(Weight-Averaged SAM)을 적용했다.
• 표준 평가 지표를 사용해 표준 벤치마크(예: NLP의 GLUE, GRL의 OGB)에서 결과를 보고했다.

실험 결과

연구 질문

• RQ1 SWA와 SAM은 다양한 딥러닝 작업에서 일반화 성능 측면에서 어떻게 비교될 수 있는가?
• RQ2 SAM은 항상 SWA보다 더 평탄한 최소값을 찾는가? 그리고 이는 더 나은 일반화로 이어지는가?
• RQ3 모델 아키텍처와 데이터셋 유형은 SWA와 SAM의 상대적 성능에 어떤 영향을 미치는가?
• RQ4 손실 함수 표면의 평탄함(헤시안을 통해 측정)과 실제 테스트 정확도 사이의 관계는 무엇인가?
• RQ5 SAM의 반복값을 평균내는 것으로, 표준 SAM을 초월해 평탄함과 일반화 성능을 더욱 향상시킬 수 있는가?

주요 결과

• 헤시안 고유값 분석에 따르면 SAM이 SWA보다 더 평탄한 최소값을 찾는다 해도, SWA가 더 나은 일반화 성능를 보이며, 특히 그래프 표현 학습(GRL) 작업에서 두드러진다.
• NLP 작업에서는 대부분의 경우 SAM이 SWA를 앞서며, 이는 이 도메인에서 평탄함이 더 유익함을 시사한다.
• GRL 작업에서는 SWA가 일관되게 SAM을 앞서며, 이는 평탄함만으로는 일반화 성능 향상이 충분하지 않음을 시사한다.
• WASAM를 통해 SAM의 반복값을 평균내면 모든 방법 중 가장 평탄한 최소값을 얻을 수 있으며, 이는 앙상블 평균화가 평탄함을 향상시킨다는 것을 의미한다.
• 평탄한 최소값 최적화 방법이 성능 향상을 이끌지 못할 경우, 훈련 중 손실 및 정확도 곡선의 형태에 뚜렷한 차이가 관찰된다.
• SWA와 SAM의 효과성은 모델 아키텍처와 데이터셋에 매우 의존하며, 어떤 최적화 방법도 항상 우월한 것은 아니다.