[논문 리뷰] Minnorm training: an algorithm for training overcomplete deep neural networks

Yamini Bansal, Madhu Advani외 2명|arXiv (Cornell University)|2018. 06. 03.

Machine Learning and ELM참고 문헌 21인용 수 5

한 줄 요약

이 논문은 과다 매개변수화된 딥 네ural 네트워크에서 가중치 노름을 최소화하기 위해 제약 최적화 문제로 훈련을 재정의하는 새로운 알고리즘인 Minnorm 훈련을 소개한다. 라그랑주 승수를 활용해 임계 예시를 식별하고 표준 백프로파게이션과 통합함으로써, 최소 노름 해로의 수렴 속도를 빠르게 하고 일반화 성능을 향상시킨다. 이는 MNIST에서의 이론적 및 실험적 평가에서 조기 정지와 L2-정규화를 능가한다.

ABSTRACT

In this work, we propose a new training method for finding minimum weight norm solutions in over-parameterized neural networks (NNs). This method seeks to improve training speed and generalization performance by framing NN training as a constrained optimization problem wherein the sum of the norm of the weights in each layer of the network is minimized, under the constraint of exactly fitting training data. It draws inspiration from support vector machines (SVMs), which are able to generalize well, despite often having an infinite number of free parameters in their primal form, and from recent theoretical generalization bounds on NNs which suggest that lower norm solutions generalize better. To solve this constrained optimization problem, our method employs Lagrange multipliers that act as integrators of error over training and identify `support vector'-like examples. The method can be implemented as a wrapper around gradient based methods and uses standard back-propagation of gradients from the NN for both regression and classification versions of the algorithm. We provide theoretical justifications for the effectiveness of this algorithm in comparison to early stopping and $L_2$-regularization using simple, analytically tractable settings. In particular, we show faster convergence to the max-margin hyperplane in a shallow network (compared to vanilla gradient descent); faster convergence to the minimum-norm solution in a linear chain (compared to $L_2$-regularization); and initialization-independent generalization performance in a deep linear network. Finally, using the MNIST dataset, we demonstrate that this algorithm can boost test accuracy and identify difficult examples in real-world datasets.

연구 동기 및 목표

• 크게 늘어난 모델 용량에도 불구하고 일반화 성능이 열악한 과다 매개변수화된 딥 네ural 네트워크의 과제를 해결한다.
• 정확한 데이터 피팅 조건 하에 모든 레이어의 가중치 노름 합을 최소화하여 훈련 속도와 일반화 성능을 향상시킨다.
• 최소 노름 해를 찾는 데 있어 조기 정지와 L2-정규화의 이론적으로 타당한 대안을 제공한다.
• 노름 최소화를 통해 딥 선형 네트워크에서 초기화에 의존하지 않는 일반화 성능을 가능하게 한다.
• MNIST와 같은 실제 데이터셋에서 실용적 효과를 입증한다. 어려운 예시를 식별하고 테스트 정확도를 향상시킨다.

제안 방법

• 모든 레이어의 가중치 L2 노름 합을 최소화하는 것으로 훈련 문제를 설정하며, 훈련 데이터를 정확히 피팅하는 조건을 부여한다.
• 데이터 피팅 조건을 강제하기 위해 라그랑주 승수를 사용하며, 이는 훈련 오차의 통합자 역할을 하며 지원벡터 유사 예시를 식별한다.
• 표준 기반 최적화 알고리즘을 감싸는 방식으로 구현하며, 회귀 및 분류 문제 모두에 표준 백프로파게이션을 사용한다.
• 수렴 및 일반화 행동을 분석하기 위해 얕은 네트워크, 선형 체인 네트워크, 딥 선형 네트워크에 이 알고리즘을 적용한다.
• 단순한 설정에서 이론적 분석을 활용해 Minnorm 훈련이 조기 정지와 L2-정규화와 비교하여 어떻게 작용하는지 분석한다.
• MNIST를 사용하여 실제 딥 네트워크로 이 방법을 확장하고, 성능 향상과 예시 난이도 탐지 검증을 수행한다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 네트워크에서 가중치 노름을 최소화하면, 순수한 경사 하강법보다 얕은 네트워크에서 최대 마진 해로의 수렴 속도가 더 빠를 수 있는가?
• RQ2 선형 체인 네트워크에서 Minnorm 훈련은 L2-정규화보다 최소 노름 해로의 수렴 속도가 더 빠른가?
• RQ3 딥 선형 네트워크에서 Minnorm 훈련은 초기화에 의존하지 않는 일반화 성능을 달성할 수 있는가?
• RQ4 실제 데이터에서 Minnorm 훈련은 조기 정지와 L2-정규화와 비교해 테스트 정확도와 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 Minnorm 훈련은 MNIST와 같은 실제 데이터셋에서 어려운 예시를 식별할 수 있는가?

주요 결과

• 얕은 네트워크에서 Minnorm 훈련은 노름 최소화 제약 덕분에 순수한 경사 하강법보다 최대 마진 초평면으로의 수렴 속도가 더 빠르다.
• 선형 체인 네트워크에서 Minnorm 훈련은 L2-정규화보다 최소 노름 해로의 수렴 속도가 더 빠르다.
• 딥 선형 네트워크에서 Minnorm 훈련은 표준 훈련 방법과 달리 초기화에 의존하지 않는 일반화 성능을 제공한다.
• MNIST 데이터셋에서 Minnorm 훈련은 테스트 정확도를 향상시켜 실제 환경에서의 일반화 성능 향상을 입증한다.
• 알고리즘이 MNIST 데이터셋에서 어려운 예시를 성공적으로 식별하여 모델의 해석 가능성과 강건성 향상 가능성을 시사한다.
• 이론적 분석을 통해 Minnorm 훈련이 수렴 속도와 해의 노름 최소화 측면에서 조기 정지와 L2-정규화를 능가함을 확인한다.