[논문 리뷰] Minimum norm solutions do not always generalize well for over-parameterized problems

Vatsal Shah, Anastasios Kyrillidis외 1명|arXiv (Cornell University)|2018. 11. 16.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 과다 매개변수화된 모델에서 최소 노름 해가 일반화 성능이 가장 좋다는 가정을 도전하며, 실험 분석을 통해 적응형 최적화 방법이 SGD보다도 더 우수한 성능을 내는 경우가 있음을 보여준다. 이는 가중치 노름이 더 크더라도 성능이 우수할 수 있음을 의미한다. 주요 기여는 실제 딥러닝 환경에서 일반화 성능이 가중치 노름 최소화에 의해 엄격히 결정되지 않는다는 것을 입증한 것이다.

ABSTRACT

This work is substituted by the paper in arXiv:2011.14066. Stochastic gradient descent is the de facto algorithm for training deep neural networks (DNNs). Despite its popularity, it still requires fine tuning in order to achieve its best performance. This has led to the development of adaptive methods, that claim automatic hyper-parameter optimization. Recently, researchers have studied both algorithmic classes via toy examples: e.g., for over-parameterized linear regression, Wilson et. al. (2017) shows that, while SGD always converges to the minimum-norm solution, adaptive methods show no such inclination, leading to worse generalization capabilities. Our aim is to study this conjecture further. We empirically show that the minimum weight norm is not necessarily the proper gauge of good generalization in simplified scenaria, and different models found by adaptive methods could outperform plain gradient methods. In practical DNN settings, we observe that adaptive methods can outperform SGD, with larger weight norm output models, but without necessarily reducing the amount of tuning required.

연구 동기 및 목표

• 과다 매개변수화된 설정에서 최소 노름 해가 일관되게 더 나은 일반화 성능을 보이는지 조사하기.
• 단순화되고 실제적인 딥러닝 시나리오에서, 적응형 최적화 방법의 일반화 성능을 SGD와 비교 평가하기.
• 과다 매개변수화된 모델에서 가중치 노름이 일반화 성능의 신뢰할 수 있는 지표인지 판단하기.
• 실제로 적응형 방법이 하이퍼파rameter 튜닝의 필요성을 실제로 줄이는가 평가하기.

제안 방법

• 과다 매개변수화된 선형 회귀 및 단순 신경망 설정에서 SGD와 적응형 방법(예: Adam)의 실험적 평가.
• 최소 노름 및 비최소 노름 해를 포함한 다양한 가중치 노름을 가진 모델 간의 일반화 성능 비교.
• 시험 정확도와 가중치 노름 동역학을 관찰하기 위해 통제된 환경에서 딥 네ural 네트워크를 SGD 및 적응형 방법으로 훈련.
• 다양한 최적화 경로에서 가중치 노름 크기와 일반화 오차 간의 관계 분석.
• 간단한 설정과 실제 DNN 아키텍처를 활용해 결과의 타당성을 간단한 사례와 실제 환경에서 검증하기.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 문제에서 최소 노름 해가 항상 더 나은 일반화 성능을 보이는가?
• RQ2 적응형 최적화 방법이 더 큰 가중치 노름을 유도함에도 불구하고 SGD를 초월하는 일반화 성능을 낼 수 있는가?
• RQ3 딥러닝 모델에서 가중치 노름이 일반화 성능의 신뢰할 수 있는 지표인가?
• RQ4 실제로 적응형 방법이 하이퍼파rameter 튜닝의 필요성을 어느 정도 줄이는가?

주요 결과

• 과다 매개변수화된 설정에서 최소 노름 해가 항상 비최소 노름 해보다 더 나은 일반화 성능을 보이지는 않는다.
• Adam과 같은 적응형 방법은 더 큰 가중치 노름을 유도함에도 불구하고 SGD보다 더 나은 일반화 성능을 달성할 수 있다.
• 실제 딥 네ural 네트워크 훈련에서, 적응형 방법은 하이퍼파rameter 튜닝이 반드시 줄어들지 않더라도 SGD를 초월한다.
• 실험 결과는 과다 매개변수화된 모델에서 최소 가중치 노름이 최적의 일반화를 암시한다는 이론적 가정을 도전한다.