[논문 리뷰] Theory IIIb: Generalization in Deep Networks

Tomaso Poggio, Qianli Liao외 4명|arXiv (Cornell University)|2018. 06. 29.

Neural Networks and Applications참고 문헌 4인용 수 14

한 줄 요약

이 논문은 지수형 손실(예: 교차 엔트로피)에 대한 경사하강법이 과도하게 파rameter화된 딥 네트워크의 각 층에서 최소 노름 해로의 암묵적 정규화를 보장함으로써 '과적합 없음' 퍼즐을 해결한다. 핵심 결과는 분리 가능한 경우에 딥 네트워크가 최대 마진 유사 해로 수렴한다는 것이다. 이는 과도한 용량과 명시적 정규화의 부재에도 일반화가 가능함을 설명한다.

ABSTRACT

A main puzzle of deep neural networks (DNNs) revolves around the apparent absence of "overfitting", defined in this paper as follows: the expected error does not get worse when increasing the number of neurons or of iterations of gradient descent. This is surprising because of the large capacity demonstrated by DNNs to fit randomly labeled data and the absence of explicit regularization. Recent results by Srebro et al. provide a satisfying solution of the puzzle for linear networks used in binary classification. They prove that minimization of loss functions such as the logistic, the cross-entropy and the exp-loss yields asymptotic, "slow" convergence to the maximum margin solution for linearly separable datasets, independently of the initial conditions. Here we prove a similar result for nonlinear multilayer DNNs near zero minima of the empirical loss. The result holds for exponential-type losses but not for the square loss. In particular, we prove that the weight matrix at each layer of a deep network converges to a minimum norm solution up to a scale factor (in the separable case). Our analysis of the dynamical system corresponding to gradient descent of a multilayer network suggests a simple criterion for ranking the generalization performance of different zero minimizers of the empirical loss.

연구 동기 및 목표

• 과도한 용량과 명시적 정규화의 부재에도 불구하고 딥 네트워크가 잘 일반화되는 이유를 오랫동안 풀리지 않았던 수수께끼로 해결하는 것.
• 선형 네트워크에서의 암묵적 정규화 이론을 비선형 딥 네트워크로 확장하는 것.
• 지수형 손실로 훈련된 딥 네트워크에서 경사하강법의 수렴 행동을 특성화하는 것.
• 경험적 리스크의 다양한 0-최소화자들 간의 일반화 성능을 이론적 기준으로 순위 매기는 것.

제안 방법

• ReLU 활성화 함수와 지수형 손실(예: 교차 엔트로피)을 갖는 딥 네트워크의 연속 시간 경사 유동 역학을 분석한다.
• ReLU의 양의 동차성을 활용해 가중치 행렬을 노름과 방향 성분으로 분해하고, 스케일을 제외한 최소 노름 해로의 수렴을 보여준다.
• 동역학 시스템 이론을 적용하여, 분리 가능한 경우에 각 층에서 프로베니우스 노름이 최소화되는 해로 경사하강법이 수렴함을 보여준다.
• 교차 엔트로피 손실의 경사 역학을 유도하고, 정규화 조건 하에서 지수 손실 역학과의 등가성을 보여주며, 선형 네트워크 결과를 비선형 설정으로 확장할 수 있도록 한다.
• 가중치 정규화와 이산화 효과를 고려하여, 이산 경사하강법에서 시간에 따라 변하는 학습률이 수렴에 있어 필수적임을 보여준다.
• 오분류 오차는 쌍곡형 평형점을 유도하며, 이는 오분류된 예제의 선형 조합에 속하는 성분들만 영향을 받고, 안정적이지만 정규화되지 않은 해를 유도함을 의미한다.

실험 결과

연구 질문

• RQ1 왜 과도하게 파rameter화된 딥 네트워크는 랜덤 레이블을 피팅하면서도 과적합하지 않을까?
• RQ2 딥 네트워크에서 지수형 손실에 대한 경사하강법이 최소 노름 해로의 암묵적 정규화를 유도하는가?
• RQ3 경험적 리스크의 다양한 0-최소화자들 간의 일반화 성능을 이론적 기준으로 순위 매길 수 있는가?
• RQ4 지수형 손실을 갖는 딥 네트워크에서 경사하강법의 역학은 선형 네트워크와 어떻게 비교되는가?
• RQ5 가중치 정규화 또는 학습률 스케줄링은 딥 네트워크의 수렴과 일반화에 어떤 역할을 하는가?

주요 결과

• 지수형 손실을 갖는 딥 네트워크에서 경사하강법은 분리 가능한 경우 각 층에서 스케일 인자를 제외한 최소 노름 해로 수렴한다.
• 수렴은 초기 조건과 무관하며, 최대 마진 유사 해에 해당하여 암묵적 정규화를 제공한다.
• 이러한 암묵적 정규화 덕분에 파rameter 수가 훈련 세트 크기를 초과하더라도 일반화 오차가 안정적으로 유지된다.
• 정규화 조건 하에서 교차 엔트로피 손실의 역학은 지수 손실의 역학과 등가이며, 이는 선형 네트워크 결과를 비선형 딥 네트워크로 확장할 수 있도록 한다.
• 오분류 오차는 모든 가중치 성분을 균일하게 정규화하지 않으며, 오직 오분류된 예제의 선형 조합에 속하는 성분들만 영향을 받고, 안정적이지만 정규화되지 않은 평형점이 발생한다.
• 이산화 효과와 시간에 따라 변하는 학습률은 수렴에 있어 결정적이다. 이들은 노이즈를 억제하고 최소값으로의 점진적 수렴을 보장한다.