[논문 리뷰] Theory III: Dynamics and Generalization in Deep Networks

Andrzej Banburski, Qianli Liao외 5명|arXiv (Cornell University)|2019. 03. 12.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 지수형 손실을 가진 딥 네트워크에서 경사하강법이 은폐된 노름 정규화를 통해 모델 복잡도를 암묵적으로 제어하며, 최소노름(최대마진) 해로 수렴함을 보여준다. 명시적 정규화가 없음에도 불구하고, 동역학적 특성은 일반화 가능한 해로 향하는 암묵적 편향을 유도하며, 과다 매개변수화된 네트워크에서의 과적합 방지 문제를 설명한다.

ABSTRACT

The key to generalization is controlling the complexity of the network. However, there is no obvious control of complexity -- such as an explicit regularization term -- in the training of deep networks for classification. We will show that a classical form of norm control -- but kind of hidden -- is present in deep networks trained with gradient descent techniques on exponential-type losses. In particular, gradient descent induces a dynamics of the normalized weights which converge for $t o \infty$ to an equilibrium which corresponds to a minimum norm (or maximum margin) solution. For sufficiently large but finite $ρ$ -- and thus finite $t$ -- the dynamics converges to one of several margin maximizers, with the margin monotonically increasing towards a limit stationary point of the flow. In the usual case of stochastic gradient descent, most of the stationary points are likely to be convex minima corresponding to a constrained minimizer -- the network with normalized weights-- which corresponds to vanishing regularization. The solution has zero generalization gap, for fixed architecture, asymptotically for $N o \infty$, where $N$ is the number of training examples. Our approach extends some of the original results of Srebro from linear networks to deep networks and provides a new perspective on the implicit bias of gradient descent. We believe that the elusive complexity control we describe is responsible for the puzzling empirical finding of good predictive performance by deep networks, despite overparametrization.

연구 동기 및 목표

• 과다 매개변수화된 딥 네트워크에서 명시적 정규화가 없음에도 불구하고 일반화가 발생하는 비현상적 현상(비과적합 문제)을 해결하기 위해.
• 딥 네트워크의 경사하강법 학습에서 복잡도 제어의 은폐된 메커니즘을 규명하기 위해.
• 선형 네트워크에서의 Srebro 결과를 동질성과 정규화된 가중치 동역학을 활용해 딥 비선형 네트워크로 확장하기 위해.
• 가중치 정규화, 배치 정규화, 라그랑주 방법이 모두 동일한 최소노름 해로 수렴함을 보여주기 위해.
• 딥 네트워크에서 학습 동역학과 일반화 성능 간의 이론적 연결 고리를 구축하기 위해.

제안 방법

• 지수형 손실을 가진 딥 ReLU 네트워크에서 정규화된 가중치 $ V_k $ 의 동역학을 분석한다.
• 네트워크의 동질성을 활용해 네트워크 출력을 $ f(W;x) = \rho f(V;x) $ 로 분해하며, 여기서 $ \rho $ 는 계층별 가중치 노름의 곱이다.
• 정규화된 가중치 $ \dot{V} $ 의 동역계를 유도하며, 단위 노름 제약 조건 하에서 정적점으로 수렴함을 보인다.
• 라그랑주 수식을 적용해 $ \|V_k\|_2 = 1 $ 을 강제함으로써, 정적점이 최소노름 해와 대응됨을 증명한다.
• 비정규화된 가중치에 대한 경사하강법과 후행 정규화를 비교하여, 라그랑주 방법과 동일한 점근적 행동을 보임을 보였다.
• CIFAR-10 및 IRIS 데이터셋에서 선형 및 컨볼루션 네트워크를 사용해 수렴 속도와 마진 동역학을 실증적으로 검증하였다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 지수형 손실을 가진 경사하강법이 명시적 정규화 없이 일반화를 어떻게 달성하는가?
• RQ2 과다 매개변수화된 딥 네트워크에서 경사하강법의 암묵적 인도적 편향은 무엇인가?
• RQ3 가중치 정규화와 배치 정규화는 학습 동역학에서 암묵적 정규화와 어떻게 관련이 있는가?
• RQ4 가중치 노름의 곱 $ \rho $ 는 수렴과 일반화 제어에서 어떤 역할을 하는가?
• RQ5 정규화된 가중치 동역학의 정적점은 최대마진 해와 대응되는가?

주요 결과

• 지수형 손실을 가진 딥 네트워크에서의 경사하강법은 명시적 정규화 없이도 최소노름(최대마진) 해로 수렴한다.
• 유한한 $ \rho $ 에 대해 동역학은 정적점으로 수렴하며, 이는 제약 조건을 가진 최소화자와 동치이며, 극히 작은 정규화와 동일하다.
• 학습 예제 수 $ N \to \infty $ 일 때, 해는 점차적으로 일반화 갭이 0이 된다.
• 가중치 정규화와 배치 정규화는 라그랑주 방법과 정량적으로 동일한 동역학을 보이며, 동일한 정적점으로 수렴한다.
• $ \rho $ 를 $ \frac{1}{\log t} $ 로 스케일링하면, 제약 조건이 없는 동역학보다 더 빠른 수렴 속도를 얻으며, $ \rho \approx 4 $ 근처에서 테스트 손실과 오차 사이의 선형 관계가 붕괴된다.
• 100개의 샘플로 구성된 CIFAR-10에서의 실험에서, 네트워크는 단일 서포트 벡터로 수렴하며 기울기 기반 변형에 대해 안정성을 유지함을 확인하여 최소노름 해의 강건성을 입증하였다.