[논문 리뷰] Minnorm training: an algorithm for training over-parameterized deep neural networks

Yamini Bansal, Madhu Advani외 2명|arXiv (Cornell University)|2018. 06. 03.

Advanced Neural Network Applications참고 문헌 26인용 수 12

한 줄 요약

이 논문은 과다 파rameter화된 딥 네ural 네트워크의 가중치 노름을 정확히 학습 데이터를 피팅하면서 최소화하는 제약 최적화 알고리즘인 Minnorm 훈련을 소개한다. 오차 통합 라그랑주 승수를 갖는 라그랑주 최적화 문제로 훈련을 재정의함으로써, 이 방법은 최소 노름 해로의 더 빠른 수렴, 향상된 일반화 성능, 그리고 결정 경계에 영향을 주는 어려운 '서포트 벡터'-유사 예제의 식별을 달성한다. 이는 MNIST에서 기존의 순수한 SGD와 L2 정규화보다 더 낮은 테스트 오차와 더 탴한 일반화 경계를 제공한다.

ABSTRACT

In this work, we propose a new training method for finding minimum weight norm solutions in over-parameterized neural networks (NNs). This method seeks to improve training speed and generalization performance by framing NN training as a constrained optimization problem wherein the sum of the norm of the weights in each layer of the network is minimized, under the constraint of exactly fitting training data. It draws inspiration from support vector machines (SVMs), which are able to generalize well, despite often having an infinite number of free parameters in their primal form, and from recent theoretical generalization bounds on NNs which suggest that lower norm solutions generalize better. To solve this constrained optimization problem, our method employs Lagrange multipliers that act as integrators of error over training and identify `support vector'-like examples. The method can be implemented as a wrapper around gradient based methods and uses standard back-propagation of gradients from the NN for both regression and classification versions of the algorithm. We provide theoretical justifications for the effectiveness of this algorithm in comparison to early stopping and $L_2$-regularization using simple, analytically tractable settings. In particular, we show faster convergence to the max-margin hyperplane in a shallow network (compared to vanilla gradient descent); faster convergence to the minimum-norm solution in a linear chain (compared to $L_2$-regularization); and initialization-independent generalization performance in a deep linear network. Finally, using the MNIST dataset, we demonstrate that this algorithm can boost test accuracy and identify difficult examples in real-world datasets.

연구 동기 및 목표

• 과다 파arameter화된 딥 네럴 네트워크의 일반화 갭을 해결하기 위해 대용량의 능력에도 불구하고.
• 과다 결정된 정확 피팅 영역에서 최소 가중치 노름 해를 명시적으로 찾는 훈련 알고리즘을 개발하기 위해.
• 표준 SGD와 L2 정규화를 초월하여 제약 최적화를 활용해 일반화 성능을 향상시키기 위해.
• 분류가 어려우며 결정 경계에 영향을 주는 '서포트 벡터'-유사 예제를 식별하고 강조하기 위해.
• 노름 최소화 훈련의 우수성을 이론적이고 경험적으로 정당화하기 위해.

제안 방법

• 딥 러닝 훈련을 제약 최적화 문제로 재정의: 학습 데이터를 정확히 피팅하면서 각 층의 가중치 노름의 합을 최소화한다.
• 오차 통합 라그랑주 승수를 사용하여 서포트 벡터와 유사한 핵심 학습 예제를 식별한다.
• 표준 백프로파게이션을 회귀 및 분류 모두에 적용하여 기존 딥 러닝 프레임워크와의 호환성을 확보한다.
• 네트워크 가중치와 라그랑주 승수 간의 번갈아 최적화를 통해 제약 문제를 해결함으로써 기울기 기반 훈련을 가능하게 한다.
• 기존의 SGD를 래퍼로 적용하여 기존 아키텍처 및 드롭아웃, 배치 정규화와 같은 정규화 기법과의 통합을 가능하게 한다.
• 미래의 작업에서 노이즈가 있는 레이블 환경을 위해 슬랙 변수를 도입하여 정확한 피팅 제약 조건을 완화한다.

실험 결과

연구 질문

• RQ1 정확히 학습 데이터를 피팅하면서 가중치 노름을 최소화하는 제약 최적화 접근이 과다 파arameter화된 네트워크에서 표준 SGD보다 더 나은 일반화를 이끌 수 있는가?
• RQ2 선형 및 얕은 네트워크에서 Minnorm 훈련은 수렴 속도와 노름 최소화 측면에서 L2 정규화와 어떻게 비교되는가?
• RQ3 Minnorm 훈련은 분류가 어려운 '서포트 벡터'-유사 예제를 식별하고 우선순위를 지정하는가? 이러한 예제들은 모델의 해석 가능성 향상에 기여할 수 있는가?
• RQ4 Minnorm 훈련은 노름 기반 일반화 경계를 향상시킬 수 있으며, 이는 더 나은 테스트 성능과 상관관계가 있는가?
• RQ5 Minnorm 훈련은 초기화에 독립적인가? 그리고 다양한 무작위 가중치 초기화에서도 일관된 일반화 성능을 유지하는가?

주요 결과

• MNIST 데이터셋에서 Minnorm 훈련은 SGD를 사용할 경우 테스트 오차 1.46%를 기록했고, BGD를 사용할 경우 1.52%를 기록하여 순수한 SGD(1.82%)와 가중치 감쇠(1.74%)를 모두 초월했다.
• 이 방법은 훈련 정확도를 완전히 0.0%로 유지하면서도 가중치의 L2 노름을 감소시켜 노름 기반 일반화 경계에서 다섯 배 향상된 성능를 달성했다.
• 선형 체인 네트워크에서 Minnorm는 L2 정규화보다 최소 노름 해로 더 빠르게 수렴했으며, 손실 최소점의 위치를 이동시키지 않았다.
• 얕은 ReLU 네트워크에서 Minnorm 훈련은 표준 SGD와 달리 초기화에 독립적인 일반화 성능를 보였다.
• 알고리즘이 MNIST에서 '서포트 벡터'-유사 예제를 성공적으로 식별했으며, 잘못 분류되거나 모호한 숫자에 대해 비영인 라그랑주 승수를 부여하여 높은 불확실성을 나타냈다.
• MNIST 예제의 상당한 비율(그림 6C에서 증명됨)이 서포트 벡터가 아니었으며, 이는 백프로파게이션에서 비핵심 예제를 건너뛰어 훈련 속도 향상을 도모할 수 있음을 시사한다.