[논문 리뷰] Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|2018. 06. 14.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 재생 커널 힐버트 공간에서 이元 분류 문제에 대해 강한 저노이즈 조건 하에서 다양한 미분 가능 볼록 손실 함수(예: 로지스틱 손실 및 지수 손실)를 사용할 때, 확률적 경사 하강법(SGD) 및 평균화된 SGD의 기대 분류 오차에 대해 지수 수렴 속도를 확립한다. 주요 기여는 SGD의 최종 단계에서 분류 오차가 지수적으로 빠르게 수렴하는 것을 보여주는 것이며, 평균화된 SGD는 초기 학습 단계부터 이 수렴 속도를 달성함으로써 기존 분석에서 관찰되는 부분선형 수렴보다 향상된 결과를 얻는다.

ABSTRACT

We consider stochastic gradient descent and its averaging variant for binary classification problems in a reproducing kernel Hilbert space. In the traditional analysis using a consistency property of loss functions, it is known that the expected classification error converges more slowly than the expected risk even when assuming a low-noise condition on the conditional label probabilities. Consequently, the resulting rate is sublinear. Therefore, it is important to consider whether much faster convergence of the expected classification error can be achieved. In recent research, an exponential convergence rate for stochastic gradient descent was shown under a strong low-noise condition but provided theoretical analysis was limited to the squared loss function, which is somewhat inadequate for binary classification tasks. In this paper, we show an exponential convergence of the expected classification error in the final phase of the stochastic gradient descent for a wide class of differentiable convex loss functions under similar assumptions. As for the averaged stochastic gradient descent, we show that the same convergence rate holds from the early phase of training. In experiments, we verify our analyses on the $L_2$-regularized logistic regression.

연구 동기 및 목표

• 분류 오차의 빠른 수렴에 대한 이론적 이해 부족 문제를 해결하고자 하며, 특히 표준 위험 최소화가 부분선형 수렴 속도만을 제공하는 경우를 고려한다.
• 이전 연구에서 제곱 손실에 국한되어 있던 지수 수렴 결과를 회귀를 넘어 일반적인 이원 분류 설정으로 확장하고자 한다.
• 표준의, 미분 가능 볼록 손실 함수(예: 로지스틱 손실 및 지수 손실)를 사용할 때 기대 분류 오차의 지수 수렴이 가능할지 분석하고자 한다.
• 표준 SGD와 평균화된 SGD의 수렴 행동을 비교하여 지수 수렴이 언제 시작되는지를 분석하고자 한다.
• 제어된 저노이즈 조건 하에서 다양한 저노이즈 수준을 갖는 합성 선형 분리 가능한 데이터셋을 사용하여 $L_2$-정규화된 로지스틱 회귀에서 이론적 결과를 실험적으로 검증하고자 한다.

제안 방법

• 분석은 바이어스 분류기가 가설 공간 내에 존재한다고 가정하는 재생 커널 힐버트 공간(RKHS)에서 수행된다.
• 강한 저노이즈 조건을 도입한다: 조건부 레이블 확률이 0.5에서 일정 거리 이상 떨어져 있다. 즉, $\rho(Y=1|x) \in [0.5-\delta, 0.5+\delta]$ 이며 $\delta > 0$ 이다. 이는 데이터 분포에 마진을 보장한다.
• 분류 오차를 서브스티튜트 위험 최소화를 통해 근사하기 위해 일반적인 미분 가능 볼록 손실 함수의 클래스(예: 로지스틱, 지수, 스무드 허프)를 사용한다.
• 표준 SGD의 경우, 저노이즈 조건과 손실의 미분 가능성 덕분에 학습의 최종 단계에서 기대 분류 오차의 지수 수렴이 발생함을 보여준다.
• 평균화된 SGD의 경우, 평균화 효과로 인해 분산이 감소하고 반복값이 안정화되어 초기 학습 단계부터 지수 수렴이 시작됨을 분석적으로 입증한다.
• 이론적 결과는 제어된 노이즈 수준($\delta \in \{0.1, 0.25, 0.4\}$)을 갖는 합성 2차원 선형 분리 가능한 데이터셋과 $L_2$-정규화된 로지스틱 회귀를 사용하여 실험적으로 검증된다.

실험 결과

연구 질문

• RQ1 이원 분류 문제에서 일반적인 미분 가능 볼록 손실 함수를 사용할 때, 표준 SGD에서 기대 분류 오차의 지수 수렴이 달성될 수 있는가?
• RQ2 기대 위험의 수렴 속도가 부분선형인 경우에도 강한 저노이즈 조건이 분류 오차의 지수 수렴을 가능하게 하는가?
• RQ3 평균화된 SGD의 수렴 행동은 표준 SGD와 비교해 지수 수렴이 언제 시작되는가?
• RQ4 제어된 저노이즈 조건 하에서 $L_2$-정규화된 로지스틱 회귀에서 이론적 지수 수렴 속도를 경험적으로 관찰할 수 있는가?
• RQ5 정규화 파rameter $\lambda$의 선택이 강한 저노이즈 가정 하에서 분류 오차 수렴 속도에 크게 영향을 미치는가?

주요 결과

• 강한 저노이즈 조건 하에서 다양한 미분 가능 볼록 손실 함수(로지스틱 손실 및 지수 손실 포함)를 사용할 때, 표준 SGD의 최종 단계에서 기대 분류 오차의 지수 수렴이 달성된다.
• 평균화된 SGD의 경우, 표준 SGD가 최종 단계에서만 지수 수렴을 달성하는 것과 달리, 초기 학습 단계부터 기대 분류 오차의 수렴 속도가 지수적으로 빠르게 시작된다.
• $\delta = 0.4$일 경우, 분류 오차는 손실 함수보다 현저히 더 빨리 수렴하며, 이는 높은 노이즈 마진 하에서 강력한 가속 효과를 의미한다. 이는 베이즈 분류기가 더 이른 반복 단계에서 도달됨을 시사한다.
• 최종 단계에서 초과 분류 오차 대비 초과 위험의 비율이 급격히 감소함으로써, 강한 저노이즈 조건 하에서 분류 오차 수렴 속도가 위험 최소화를 초월함을 확인한다.
• 합성 선형 분리 가능한 데이터셋에 대한 경험적 결과는 $\delta$ 값이 클수록 분류 오차 수렴 속도가 더 빨라지며, $\delta = 0.4$일 경우 더 적은 반복 수로 근사 최적 성능에 도달함을 보여준다.
• 이론적 수렴 속도는 이전의 제곱 손실을 사용한 연구(Pillaud-Vivien 등, 2017)와 동일한 수준을 유지하지만, 이제 더 적합한 분류 손실 함수로 일반화되었으며 속도에 손실 없이 적용된다.