[논문 리뷰] The Implicit Bias of Gradient Descent on Separable Data

Daniel Soudry, Elad Hoffer외 3명|arXiv (Cornell University)|2017. 10. 27.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 선형적으로 분리 가능한 데이터에서 정규화되지 않은 로지스틱 회귀에 대해 경사 하강법을 적용할 경우, 명시적 정규화 없이도 암묵적으로 L2 최대 마진 솔루션으로 수렴함을 보여준다. 수렴 속도는 O(1/log t)로 매우 느리며, 이는 훈련 손실이 거의 0에 도달한 후에도 일반화 성능 향상이 계속 일어나는 이유를 설명한다.

ABSTRACT

We examine gradient descent on unregularized logistic regression problems, with homogeneous linear predictors on linearly separable datasets. We show the predictor converges to the direction of the max-margin (hard margin SVM) solution. The result also generalizes to other monotone decreasing loss functions with an infimum at infinity, to multi-class problems, and to training a weight layer in a deep network in a certain restricted setting. Furthermore, we show this convergence is very slow, and only logarithmic in the convergence of the loss itself. This can help explain the benefit of continuing to optimize the logistic or cross-entropy loss even after the training error is zero and the training loss is extremely small, and, as we show, even if the validation loss increases. Our methodology can also aid in understanding implicit regularization n more complex models and with other optimization methods.

연구 동기 및 목표

• 선형적으로 분리 가능한 데이터셋에서 정규화되지 않은 로지스틱 회귀에 대한 경사 하강법의 암묵적 편향을 이해하는 것.
• 명시적 정규화 없이도 경사 하강법이 최대 마진 솔루션으로 수렴하는지 확인하는 것.
• 최대 마진 방향으로 햖거나 정규화된 가중치 벡터의 수렴 속도를 특성화하는 것.
• 지수 꼬리가 있는 매끄럽고 감소하는 손실 함수 및 다중 클래스 설정으로 분석을 확장하는 것.
• 딥 러닝 일반화에 대한 영향과 최적화 동역학의 역할을 탐구하는 것.

제안 방법

• 선형적으로 분리 가능한 데이터에서 동차 선형 예측자와 함께 정규화되지 않은 로지스틱 회귀에 대한 경사 하강법을 분석한다.
• 정규화된 가중치 벡터 w(t)/||w(t)||가 L2 최대 마진 분리자(하드 마진 SVM 솔루션)로 수렴함을 증명한다.
• 점근적 분석과 미분 방정식 근사법을 사용하여 정규화된 방향의 역학을 연구한다.
• 최대 마진 솔루션으로부터의 거리 감쇠를 근사하여 수렴 속도를 확립한다.
• 지수 꼬리가 있는 매끄럽고 감소하는 하한이 있는 손실 함수 및 다중 클래스 문제로 결과를 확장한다.
• 딥 네트워크의 단일 가중치 레이어 학습을 위한 제한된 설정을 고려한다.

실험 결과

연구 질문

• RQ1 정규화되지 않은 로지스틱 회귀에 대해 선형적으로 분리 가능한 데이터에서 경사 하강법이 최대 마진 솔루션으로 수렴하는가?
• RQ2 정규화된 가중치 벡터가 최대 마진 방향으로 수렴하는 속도는 무엇인가?
• RQ3 경사 하강법의 암묵적 편향은 ADAM과 같은 다른 최적화 방법과 비교해 어떻게 다른가?
• RQ4 암묵적 편향은 로지스틱 손실 이외의 다른 손실 함수로 일반화될 수 있는가?
• RQ5 왜 훈련 손실이 거의 0에 도달한 후에도 일반화 성능 향상이 계속 일어나는가?

주요 결과

• 정규화되지 않은 로지스틱 회귀에 대해 선형적으로 분리 가능한 데이터에서 경사 하강법이 L2 최대 마진 솔루션으로 수렴하며, 이는 하드 마진 SVM과 동일하다.
• 정규화된 가중치 벡터가 최대 마진 방향으로 수렴하는 속도는 O(1/log t)이며, 매우 느리다.
• 일부 열악한 데이터셋에서는 수렴 속도가 O(log log t / log t)로 더 떨어진다.
• 암묵적 편향는 경사 하강법에 특화되어 있으며, ADAM과 같은 적응형 방법은 동일한 행동를 보이지 않는다.
• 느린 수렴 속도가 훈련 손실이 거의 0에 도달한 후에도 일반화 성능 향상이 계속 일어나는 이유를 설명한다.
• 결과는 지수 꼬리가 있는 다른 감소하는 하한이 있는 손실 함수 및 다중 클래스 설정으로 일반화된다.