[논문 리뷰] On the Maximum Hessian Eigenvalue and Generalization

Simran Kaur, Jérémy Cohen외 1명|arXiv (Cornell University)|2022. 06. 21.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 최대 헤시안 고유값 ($\lambda_{\text{max}}$)과 신경망 일반화 간의 관계를 조사하며, 더 작은 $\lambda_{\text{max}}$ 값이 일반화를 일관되게 향상시키지 않는다는 것을 입증한다. VGG 네트워크에서 통제된 실험을 통해 큰 학습률, 배치 정규화, 드롭아웃, SAM 등의 간섭 조치가 $\lambda_{\text{max}}$를 감소시키지만, 오히려 테스트 정확도를 향상시키지 못하거나 악화시키는 것으로 나타났다—특히 큰 배치 크기에서 그렇다. 반면 배치 정규화는 $\lambda_{\text{max}}$를 감소시키지 않으면서도 일반화를 향상시킨다. 이러한 결과들은 $\lambda_{\text{max}}$가 일반화의 신뢰할 수 있는 대체 지표로 쓰일 수 없다는 점을 도전한다.

ABSTRACT

The mechanisms by which certain training interventions, such as increasing learning rates and applying batch normalization, improve the generalization of deep networks remains a mystery. Prior works have speculated that "flatter" solutions generalize better than "sharper" solutions to unseen data, motivating several metrics for measuring flatness (particularly $λ_{max}$, the largest eigenvalue of the Hessian of the loss); and algorithms, such as Sharpness-Aware Minimization (SAM) [1], that directly optimize for flatness. Other works question the link between $λ_{max}$ and generalization. In this paper, we present findings that call $λ_{max}$'s influence on generalization further into question. We show that: (1) while larger learning rates reduce $λ_{max}$ for all batch sizes, generalization benefits sometimes vanish at larger batch sizes; (2) by scaling batch size and learning rate simultaneously, we can change $λ_{max}$ without affecting generalization; (3) while SAM produces smaller $λ_{max}$ for all batch sizes, generalization benefits (also) vanish with larger batch sizes; (4) for dropout, excessively high dropout probabilities can degrade generalization, even as they promote smaller $λ_{max}$; and (5) while batch-normalization does not consistently produce smaller $λ_{max}$, it nevertheless confers generalization benefits. While our experiments affirm the generalization benefits of large learning rates and SAM for minibatch SGD, the GD-SGD discrepancy demonstrates limits to $λ_{max}$'s ability to explain generalization in neural networks.

연구 동기 및 목표

• 최대 헤시안 고유값 ($\\lambda_{\\text{max}}$)이 신경망 일반화를 신뢰성 있게 예측하거나 인과적으로 영향을 미치는지 조사하는 것.
• 학습률, 배치 크기, 드롭아웃, 배치 정규화, SAM을 포함한 다양한 훈련 간섭 조치에 대해 $\lambda_{\text{max}}$가 평탄도 지표로서의 탄력성을 시험하는 것.
• generalization 향상이 $\lambda_{\text{max}}$를 감소시키지 않아도 발생할 수 있는지, 또는 $\lambda_{\text{max}}$를 감소시켜도 일반화 성능 향상이 이루어지지 않는지 확인하는 것.
• $\lambda_{\text{max}}$가 SAM 및 배치 정규화와 같은 최적화 방법의 성공을 과학적으로 설명하는 데 얼마나 타당한지 평가하는 것.

제안 방법

• 저자는 학습률, 배치 크기, 드롭아웃 비율, 배치 정규화의 변화를 통제하여 CIFAR-10에서 VGG-11 모델을 훈련시었다.
• 정확도를 확보하기 위해, Cohen 등 [24]의 방법을 따르며 이웃하는 훈련 반복 사이의 격자 기반 근사법을 사용하여 $\lambda_{\text{max}}$를 계산하였다. 이는 안정성의 가장자리 영역에서의 정확성을 확보하기 위함이다.
• 작은 배치 크기와 큰 배치 크기를 대상으로 실험을 수행하였으며, 학습률을 다양하게 조절하여 $\lambda_{\text{max}}$와 테스트 정확도에 미치는 영향을 평가하였다.
• 배치 정규화, 드롭아웃, SAM이 있는 모델과 없는 모델을 비교하였으며, 여러 랜덤 시드를 통해 $\lambda_{\text{max}}$와 일반화 성능을 측정하였다.
• 배치 크기와 학습률을 동시에 증가시킬 때 일관된 훈련 역학을 유지하기 위해 선형 스케일링 규칙을 적용하였다.
• 각 설정에서 4회의 반복을 수행하여 $\lambda_{\text{max}}$와 테스트 정확도 측정의 신뢰성을 확보하기 위한 통계적 비교를 실시하였다.

실험 결과

연구 질문

• RQ1 큰 학습률을 통해 $\lambda_{\text{max}}$를 감소시키는 것이, 특히 큰 배치 크기에서 일반화를 일관되게 향상시키는가?
• RQ2 학습률과 배치 크기를 비율을 유지하면서 동시에 확장하면 $\lambda_{\text{max}}$는 감소하지만 일반화 성능에 변화가 없는가? 이는 $\lambda_{\text{max}}$가 일반화와 인과관계가 없음을 확인한다.
• RQ3 SAM의 일반화 이점은 $\lambda_{\text{max}}$가 감소한 상태에서도 유지되는가, 특히 큰 배치 크기 영역에서 그러한가?
• RQ4 과도한 드롭아웃 확률은 $\lambda_{\text{max}}$를 감소시키지만 일반화 성능을 떨어뜨리는가?
• RQ5 배치 정규화는 $\lambda_{\text{max}}$를 감소시키지 않으면서도 일반화를 향상시킬 수 있는가?

주요 결과

• 배치 정규화가 적용되지 않은 VGG 네트워크에서는 학습률을 높임으로써 모든 배치 크기에서 $\lambda_{\text{max}}$가 감소하지만, 큰 배치 크기에서는 일반화 이점이 사라진다.
• 학습률과 배치 크기를 비율을 유지하면서 동시에 확장하면 $\lambda_{\text{max}}$는 감소하지만 일반화 성능에 변화가 없으며, 이는 $\lambda_{\text{max}}$가 일반화와 인과관계가 없음을 확인한다.
• SAM은 모든 배치 크기에서 $\lambda_{\text{max}}$를 감소시키지만, 큰 배치 크기에서는 일반화 이점이 감소하고 완전히 사라지며, 평탄한 해를 제공함에도 불구하고 그러한 현상이 발생한다.
• 과도하게 높은 드롭아웃 확률은 $\lambda_{\text{max}}$를 감소시키지만 테스트 정확도를 떨어뜨리며, 더 작은 $\lambda_{\text{max}}$가 더 나은 일반화를 보장하지는 않음을 보여준다.
• 큰 학습률에서, 특히 큰 배치 설정에서 배치 정규화는 일반화를 향상시키지만 $\lambda_{\text{max}}$를 유의미하게 감소시키지 않으며, 이는 일반화 향상이 평탄한 해가 아니어도 가능함을 보여준다.
• 고정된 학습률과 배치 크기에서, 배치 정규화가 있는 모델과 없는 모델은 유사한 $\lambda_{\text{max}}$ 값을 보이지만 테스트 정확도에서 상당한 차이를 보이며, 이는 $\lambda_{\text{max}}$가 일반화 성능의 차이를 설명할 수 없다는 점을 강조한다.