[논문 리뷰] Theory of Deep Learning III: explaining the non-overfitting puzzle

Tomaso Poggio, Kenji Kawaguchi외 6명|arXiv (Cornell University)|2017. 12. 30.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 47

한 줄 요약

이 논문은 과다 매개변수화된 딥 네트워크에서 경사하강법이 안정된 최소값 근처에서 헤시안이 탈중복되거나 거의 탈중복된 선형 시스템과 위상적으로 유사하게 행동함을 보여줌으로써 딥 러닝 일반화 문제를 해결한다. 이는 경사하강법이 최소 노름 해로 수렴함으로써 암묵적으로 정규화함을 증명하며, 이는 대규모 용량에도 불구하고 과적합을 방지함을 설명한다 — 즉, 딥 네트워크가 명시적 정규화 없이도 잘 일반화되는 이유에 대한 이론적 설명을 제공한다.

ABSTRACT

A main puzzle of deep networks revolves around the absence of overfitting despite large overparametrization and despite the large capacity demonstrated by zero training error on randomly labeled data. In this note, we show that the dynamics associated to gradient descent minimization of nonlinear networks is topologically equivalent, near the asymptotically stable minima of the empirical error, to linear gradient system in a quadratic potential with a degenerate (for square loss) or almost degenerate (for logistic or crossentropy loss) Hessian. The proposition depends on the qualitative theory of dynamical systems and is supported by numerical results. Our main propositions extend to deep nonlinear networks two properties of gradient descent for linear networks, that have been recently established (1) to be key to their generalization properties: 1. Gradient descent enforces a form of implicit regularization controlled by the number of iterations, and asymptotically converges to the minimum norm solution for appropriate initial conditions of gradient descent. This implies that there is usually an optimum early stopping that avoids overfitting of the loss. This property, valid for the square loss and many other loss functions, is relevant especially for regression. 2. For classification, the asymptotic convergence to the minimum norm solution implies convergence to the maximum margin solution which guarantees good classification error for "low noise" datasets. This property holds for loss functions such as the logistic and cross-entropy loss independently of the initial conditions. The robustness to overparametrization has suggestive implications for the robustness of the architecture of deep convolutional networks with respect to the curse of dimensionality.

연구 동기 및 목표

• 과다 매개변수화된 딥 네트워크가 대규모 용량과 무작위 레이블에서 0 훈련 오차를 달성하면서도 왜 잘 일반화되는지 오랫동안 남아있던 수수께끼를 해결하기 위해.
• 선형 네트워크의 알려진 일반화 성질 — 특히 암묵적 정규화와 최소 노름 해로의 수렴 — 을 비선형 딥 네트워크로 확장하기 위해.
• 안정된 최소값 근처에서 딥 네트워크의 경사하강법 역학이 헤시안이 탈중복되거나 거의 탈중복된 선형 시스템과 위상적으로 동일함을 보여주어 과다 매개변수화에 대한 강건성을 설명하기 위해.
• 이러한 행동이 회귀(제곱 손실)와 분류(로지스틱/크로스 엔트로피 손실) 모두에 대해 성립함을 보이며, 일반화와 마진 최대화에 대한 함의를 제시하기 위해.

제안 방법

• 비선형 딥 네트워크에서의 경사하강법 역학을 동역학계 이론의 정성적 이론 도구를 사용해 분석한다.
• 이상적으로 안정된 최소값 근처에서 시스템의 행동이 헤시안이 탈중복(제곱 손실) 또는 거의 탈중복(로지스틱/크로스 엔트로피 손실)인 2차 잠재력 내의 선형 경사 시스템과 위상적으로 동일함을 보여준다.
• 적절한 초기 조건 하에서 경사하강법이 최소 노름 해로 수렴함을 확립하며, 특히 제곱 손실의 경우 성립한다.
• 분류 문제로의 확장을 위해 점점 수렴하는 최대 마진 해로의 수렴을 증명함으로써, 낮은 노이즈 데이터셋에서 좋은 테스트 오차를 보장함을 보였다.
• 다항식 네트워크 근사(렐루를 단변수 다항식으로 대체)를 사용하여 부드럽고 비균일한 활성화 함수가 핵심 일반화 성질을 유지함을 검증한다.
• 회귀 및 CIFAR-10에서의 수치 실험(편향 유무)을 통해 이론적 예측을 확인하였으며, 특히 헤시안이 탈중복된 조건에서 테스트 오차의 과적합이 발생하는 것을 확인하였다.

실험 결과

연구 질문

• RQ1 왜 과다 매개변수화된 딥 네트워크는 랜덤 레이블에서 0 훈련 오차를 달성하면서도 과적합하지 않는가?
• RQ2 딥 네트워크에서의 경사하강법은 명시적 가중치 감쇠나 배치 정규화 없이도 어떻게 암묵적으로 정규화하는가?
• RQ3 선형 네트워크의 일반화 성질이 비선형 딥 네트워크로 어느 정도까지 확장되는가?
• RQ4 헤시안의 탈중복성이 딥 러닝에서 일반화를 제어하는 데 어떤 역할을 하는가?
• RQ5 딥 네트워크에서의 경사하강법은 최소 노름 해로 수렴하는가, 그리고 이는 좋은 일반화를 의미하는가?

주요 결과

• 안정된 최소값 근처에서 딥 네트워크의 경사하강법은 헤시안이 탈중복되거나 거의 탈중복된 선형 시스템과 위상적으로 동일하며, 이는 과적합이 발생하지 않는 이유를 설명한다.
• 제곱 손실을 사용한 회귀의 경우, 경사하강법은 암묵적으로 정규화하며 최소 노름 해로 수렴함을 보여주며, 이는 과적합을 피하기 위한 최적의 조기 정지 시점이 있음을 시사한다.
• 로지스틱 또는 크로스 엔트로피 손실을 사용한 분류의 경우, 경사하강법은 점점 수렴하여 최대 마진 해로 수렴하며, 이는 낮은 노이즈 데이터셋에서 좋은 일반화를 보장한다.
• 수치 실험을 통해 헤시안이 탈중복된 경우(예: 과소결정 다항식 회귀) 테스트 오차에서 과적합이 발생하는 것을 확인하였다. 그러나 분류 성능은 여전히 강건하다.
• 데이터 증강이나 가중치 감쇠가 없더라도, 경사하강법으로 훈련된 딥 네트워크는 암묵적 정규화 덕분에 잘 일반화되며, 명시적 인도티브 바이어스 때문이 아니다.
• 렐루와 부드러운 활성화 함수 모두에서 결과가 성립함을 보여, 핵심 메커니즘은 특정 비선형성보다는 최적화 역학임을 시사한다.