[논문 리뷰] When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?

Tengyu Xu, Yi Zhou외 2명|arXiv (Cornell University)|2018. 06. 12.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 13

한 줄 요약

이 논문은 지수 손실을 사용하는 이진 분류 문제에서 ReLU 기반 신경망에 대한 경사 하강법(GD)과 확률적 경사 하강법(SGD)의 암묵적 편향을 조사한다. GD는 비볼록이고 비연속인 손실 곡면에서 임의의 국소 최소값으로 인해 전역 최대 마진 방향 또는 국소 최대 마진 방향으로 수렴하거나 발산할 수 있음을 보여주며, 선형 모델과는 대조적으로 항상 전역 최대 마진 해법으로 수렴하지는 않는다.

ABSTRACT

We study the implicit bias of gradient descent methods in solving a binary classification problem over a linearly separable dataset. The classifier is described by a nonlinear ReLU model and the objective function adopts the exponential loss function. We first characterize the landscape of the loss function and show that there can exist spurious asymptotic local minima besides asymptotic global minima. We then show that gradient descent (GD) can converge to either a global or a local max-margin direction, or may diverge from the desired max-margin direction in a general context. For stochastic gradient descent (SGD), we show that it converges in expectation to either the global or the local max-margin direction if SGD converges. We further explore the implicit bias of these algorithms in learning a multi-neuron network under certain stationary conditions, and show that the learned classifier maximizes the margins of each sample pattern partition under the ReLU activation.

연구 동기 및 목표

• 비선형 ReLU 모델에서 경사 방법의 암묵적 편향을 이해하기 위해, 이전 연구가 선형 분류기만 다룬 점을 보완한다.
• 지수 손실 하에서 ReLU 모델에서 GD와 SGD가 최대 마진 방향으로 수렴하는지 분석하며, 특히 비볼록이고 비연속인 손실 곡면이 존재하는 상황을 고려한다.
• 랜덤 샘플링과 복원 추출 조건 하에서 SGD의 반복 단위 수렴을 확립하여 이전의 에포크 단위 결과를 확장한다.
• 다중 뉴런 ReLU 네트워크에서의 암묵적 편향을 조사하여, 각 샘플 패턴 분할에 대해 마진을 최대화하는 분류기가 학습됨을 보여준다.
• ReLU 모델의 손실 곡면을 특성화하여, 선형 경우와 달리 점근적 전역 최소값과 비합리적 국소 최소값이 모두 존재함을 밝힌다.

제안 방법

• 지수 손실 하에서 ReLU 모델의 비볼록이고 비연속인 손실 곡면을 분석하여, 점근적 전역 최소값과 비합리적 국소 최소값의 존재를 증명한다.
• 점근적 분석을 활용하여 GD 수렴 행동을 네 가지 경우로 분류: 전역 최대 마진으로 수렴, 국소 최대 마진으로 수렴, 유한한 비합리적 국소 최소값으로 수렴, 또는 수렴하지 않는 진동.
• 지수 손실과 ReLU 활성화의 구조를 활용하여, 새로운 기술적 프레임워크를 도입해 SGD 수렴의 기대값을 분석한다.
• 뉴런 활성화 기반의 패턴 분할 메커니즘을 도입하여, 각 분할이 최대 마진을 이루는 부분공간과 대응됨을 보여준다.
• 가중치 갱신을 정규화된 방향에 대한 재매개변수화로 표현하여, 각 분할에서 최대 마진 방향으로의 수렴 분석을 가능하게 한다.
• 스텝 사이즈 변환과 재귀적 가중치 갱신 분석을 활용하여, 기대값으로 정규화된 가중치 벡터가 $\mathcal{O}(1/\ln t)$ 속도로 최대 마진 방향으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 ReLU 모델에서 경사 하강법은 최대 마진 방향으로 수렴하는가, 아니면 비합리적 국소 최소값에 갇힐 수 있는가?
• RQ2 랜덤 샘플링과 복원 추출 조건 하에서, 지수 손실 하에서 SGD의 암묵적 편향은 GD와 어떻게 다를까?
• RQ3 손실 곡면은 선형 모델과 비교해 ReLU 모델의 수렴 행동을 결정하는 데 어떤 역할을 하는가?
• RQ4 다중 뉴런 ReLU 네트워크의 암묵적 편향은 샘플 패턴 분할에 따라 마진을 최대화하는 방식으로 특성화될 수 있는가?
• RQ5 SGD가 기대값으로 전역 또는 국소 최대 마진 방향으로 수렴하는 조건은 무엇인가?

주요 결과

• 지수 손실 하에서 ReLU 모델의 손실 곡면은 비볼록하고 비연속적이며, 점근적 전역 최소값과 비합리적 국소 최소값을 모두 포함한다.
• 경사 하강법은 전역 최대 마진 방향, 국소 최대 마진 방향, 유한한 비합리적 국소 최소값으로 수렴하거나 수렴하지 않는 진동을 보일 수 있다.
• 랜덤 샘플링과 복원 추출 조건 하에서 SGD는 수렴한다면 기대값으로 전역 또는 국소 최대 마진 방향으로 수렴한다.
• 다중 뉴런 ReLU 네트워크의 경우, 학습된 분류기는 뉴런 활성화로 정의된 각 샘플 패턴 분할에 대해 마진을 최대화한다.
• 각 분할에서 기대값으로 정규화된 가중치 벡터는 변환된 스텝 사이즈 분석을 통해 $\mathcal{O}(1/\ln t)$ 속도로 최대 마진 방향으로 수렴한다.
• 분석 결과, 한 패턴 분할 내 모든 뉴런의 기여 벡터는 같은 부호여야 하며, 그 분할 내 모든 샘플은 동일한 레이블을 가져야 하며, 이는 마진 최대화를 보장한다.