[논문 리뷰] Gradient Descent Maximizes the Margin of Homogeneous Neural Networks

Kaifeng Lyu, Jian Li|arXiv (Cornell University)|2019. 06. 13.

Stochastic Gradient Optimization Techniques참고 문헌 70인용 수 57

한 줄 요약

이 논문은 균질 신경망에서의 경사하강/플로우가 암묵적으로 정규화된 마진을 최대화하며, 단조로운 평활 마진이 최대 마진 문제의 KKT 점으로 수렴하고, 실험에서 점근적 손실/가중치 증가율을 제시한다.

ABSTRACT

In this paper, we study the implicit regularization of the gradient descent algorithm in homogeneous neural networks, including fully-connected and convolutional neural networks with ReLU or LeakyReLU activations. In particular, we study the gradient descent or gradient flow (i.e., gradient descent with infinitesimal step size) optimizing the logistic loss or cross-entropy loss of any homogeneous model (possibly non-smooth), and show that if the training loss decreases below a certain threshold, then we can define a smoothed version of the normalized margin which increases over time. We also formulate a natural constrained optimization problem related to margin maximization, and prove that both the normalized margin and its smoothed version converge to the objective value at a KKT point of the optimization problem. Our results generalize the previous results for logistic regression with one-layer or multi-layer linear networks, and provide more quantitative convergence results with weaker assumptions than previous results for homogeneous smooth neural networks. We conduct several experiments to justify our theoretical finding on MNIST and CIFAR-10 datasets. Finally, as margin is closely related to robustness, we discuss potential benefits of training longer for improving the robustness of the model.

연구 동기 및 목표

• 균질 신경망(ReLU/LeakyReLU, 바이어스 포함 여부에 관계없이)에서의 경사하강/플로우의 암묵적 정규화 조사.
• 자연스러운 가정 하에서 시간에 따라 증가하고 최대 마진 목표에 수렴하는 스무딩된 정규화 마진의 증가 확인.
• 손실 감소의 수렴 속도, 가중치 증가율, 마진 기반 최적성(KKT 점)과의 관계를 특징짓기.
• MNIST 및 CIFAR-10에 대한 실험적 검증 및 더 긴 학습의 강건성 시사점 논의

제안 방법

• 지수형 손실(교차 엔트로피/로지스틱 포함) 하에서 균질 네트워크에 대한 그래디언트 흐름과 그래디언트 하강 분석.
• q_min()/||btheta||^L를 통한 정규화 마진 ar{b3}와 로그합지(LogSumExp)를 이용한 평활 버전 tilde{b3}를 정의하고 연구.
• tilde{b3} (그리고 그래디언트 하강의 경우 hat{b3})가 훈련 시간 t0 이후 비감소적이며 L(btheta(t)) 0a 0이고 ||btheta(t)||가 무한대로 성장하는 것을 보인다.
• 정규화 매개변수 방향의 한계점이 여유 마진 최적화 문제(P)의 KKT 점과 정렬된다는 것을 보인다.
• 손실 감소의 정확한 점근적 속도와 가중치 증가를 도출하고, 한계점에서 NTK 커널과 함께 최대 마진 SVM과의 관계를 밝힘.
• 결과를 더 넓은 손실 클래스(logistic, cross-entropy, exponential tails)와 다중-균질 네트워크로 확장.

실험 결과

연구 질문

• RQ1 균질 네트워크에서의 그래디언트 하강/플로우가 해를 최대 마진 방향으로 편향시키는가?
• RQ2 스무딩된 정규화 마진이 비감소적임을 보이고 마진 최적성 조건으로 수렴하는가?
• RQ3 이 동역학 하에서의 훈련 손실과 가중치 노름의 점근적 거동은 어떠하며, 한계점들이 마진 최적화 문제의 KKT 조건을 어느 정도 만족하는가?
• RQ4 더 넓은 손실 함수와 다중-균질 아키텍처에 이러한 이론적 결과가 어떻게 확장되는가?
• RQ5 실험적 결과가 마진 최대화 동작과 더 긴 학습의 잠재적 강건성 이점을 지지하는가?

주요 결과

• 정규화 마진은 전역적으로 단조롭지 않지만, t0 이후 비감소적이며 학습이 커짐에 따라 실제 정규화 마진에 근접하는 스무딩 버전이 존재한다.
• 가정 아래, 훈련 손실은 0으로 수렴하고 가중치 노름은 경계 없이 증가하며, 스무딩된 마진이 실제 마진에 대해 긴밀한 근사를 제공한다.
• 매개변수 방향의 어떤 한계점도 마진 최대화 문제의 KKT 점과 일치하도록 정렬되어, 그래디언트 다이나믹스에 의한 암묵적 마진 최대화를 시사한다.
• 지수 꼬리를 가진 넓은 손실 클래스(logistic, cross-entropy 포함) 및 다중-균질 네트워크로의 확장을 가능하게 하여 마진-최적화 동작을 유지한다.
• MNIST와 CIFAR-10에서 더 긴 학습이 정규화 마진을 증가시키고 L2-강건성을 개선할 수 있음을 보이며, 특히 손실 기반 학습률 스케줄에서 그렇다.
• 이론적 결과는 선형 모델에 대한 이전 연구를 심층 균질 네트워크로 일반화하고 손실 및 가중치 증가에 대한 명시적 수렴 속도를 제공한다.