[논문 리뷰] Convergence of SGD in Learning ReLU Models with Separable Data.

Tengyu Xu, Yi Zhou외 2명|arXiv (Cornell University)|2018. 06. 12.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 8

한 줄 요약

이 논문은 선형적으로 분리 가능한 데이터에서 이진 분류를 위한 ReLU 모델을 훈련할 때 확률적 경사 하강법(SGD)의 암묵적 편향을 조사한다. SGD가 기대값으로 전역 또는 국소 최대 마진 방향으로 수렴함을 보이며, 정적 조건 하에서는 학습된 다중 뉴런 분류기가 각 샘플 패턴 분할에 대해 마진을 최대화함을 드러내어 비볼록성과 유사 국소 최소값이 존재함에도 불구하고 강한 마진 최대화 편향을 보임을 밝힌다.

ABSTRACT

We study the implicit bias of gradient descent methods in solving a binary classification problem over a linearly separable dataset. The classifier is described by a nonlinear ReLU model and the objective function adopts the exponential loss function. We first characterize the landscape of the loss function and show that there can exist spurious asymptotic local minima besides asymptotic global minima. We then show that gradient descent (GD) can converge to either a global or a local max-margin direction, or may diverge from the desired max-margin direction in a general context. For stochastic gradient descent (SGD), we show that it converges in expectation to either the global or the local max-margin direction if SGD converges. We further explore the implicit bias of these algorithms in learning a multi-neuron network under certain stationary conditions, and show that the learned classifier maximizes the margins of each sample pattern partition under the ReLU activation.

연구 동기 및 목표

• 선형적으로 분리 가능한 데이터에서 ReLU 모델을 학습할 때 경사 하강법의 암묵적 편향을 이해하기 위해.
• ReLU 모델의 손실 곡면을 분석하고 지수 손실을 사용할 때 비현실적인 점근적 국소 최소값의 존재를 규명하기 위해.
• 최대 마진 방향 측면에서 경사 하강법(GD)과 확률적 경사 하강법(SGD)의 수렴 행동을 특성화하기 위해.
• 정적 조건 하에서 다중 뉴런 네트워크로의 암묵적 편향의 확장 방식을 탐구하기 위해.
• 다중 뉴런 ReLU 네트워크에서 학습된 분류기가 각 샘플 패턴 분할에 대해 마진을 최대화함을 입증하기 위해.

제안 방법

• 선형적으로 분리 가능한 데이터에서 지수 손실을 사용하는 ReLU 모델의 손실 곡면을 분석하여 전역 최소값과 비현실적인 점근적 국소 최소값을 식별한다.
• 이론적 분석을 통해 GD가 전역 또는 국소 최대 마진 방향으로 수렴하거나 최적의 방향에서 발산할 수 있음을 보인다.
• SGD에 대한 수렴 분석을 적용하여, SGD가 수렴한다면 기대값으로 전역 또는 국소 최대 마진 방향으로 수렴함을 증명한다.
• 다중 뉴런 ReLU 네트워크에서 암묵적 편향을 연구하기 위해 정적 조건을 도입한다.
• 이 조건 하에서 분류기가 각 샘플 패턴 분할의 마진을 암묵적으로 최대화함을 도출한다.
• 비볼록성과 비연속성 환경에서 수렴 및 편향 행동을 공식화하기 위해 최적화 이론과 마진 분석 도구를 활용한다.

실험 결과

연구 질문

• RQ1 ReLU 모델을 선형적으로 분리 가능한 데이터에서 훈련할 때 경사 하강법은 최대 마진 방향으로 수렴할 수 있는가, 아니면 비현실적인 국소 최소값에 갇힐 수 있는가?
• RQ2 확률적 경사 하강법이 기대값으로 최대 마진 해로 수렴하는 조건은 무엇인가?
• RQ3 비볼록 ReLU 모델과 지수 손실을 가진 경우, SGD의 암묵적 편향은 GD와 어떻게 다를 수 있는가?
• RQ4 정적 조건이 다중 뉴런 ReLU 네트워크의 암묵적 편향을 어떻게 형성하는가?
• RQ5 다중 뉴런 ReLU 모델에서 학습된 분류기는 각 샘플 패턴 분할에 대해 마진을 최대화하는가?

주요 결과

• 지수 손실을 사용하는 ReLU 모델의 손실 함수는 전역 최소값 외에도 비현실적인 점근적 국소 최소값을 가질 수 있다.
• 경사 하강법은 전역 또는 국소 최대 마진 방향으로 수렴할 수 있으며, 최적의 최대 마진 방향에서 발산할 수도 있다.
• SGD가 수렴한다면, 기대값으로 전역 또는 국소 최대 마진 방향으로 수렴한다.
• 정적 조건 하의 다중 뉴런 네트워크에서는 암묵적 편향이 각 샘플 패턴 분할의 마진을 최대화하는 데 기여한다.
• ReLU 모델에서 SGD와 GD의 암묵적 편향은 비볼록성과 비현실적인 최소값이 존재함에도 불구하고 최대 마진 해를 선호한다.
• 이론적 분석을 통해 수렴 행동이 데이터의 마진 구조와 최적화 경로와 본질적으로 연결되어 있음을 확인한다.