[논문 리뷰] Adaptivity of averaged stochastic gradient descent to local strong convexity for logistic regression

Francis Bach|arXiv (Cornell University)|2013. 03. 25.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 65

한 줄 요약

이 논문은 강력한 볼록성 매개변수 $\mu$를 사전에 알지 못하더라도 로지스틱 회귀에서 평균화된 확률적 경사하강법(ASGD)이 局부 강력 볼록성에 적응할 수 있음을 입증한다. 상수 단계 크기 $1/R^2\sqrt{N}$를 사용할 때 $\mu > R^2/\sqrt{N}$이면 수렴 속도가 $O(R^2/\mu N)$임을 증명하며, 이는 로지스틱 손실의 자가동조성성 성질을 통해 알려지지 않은 국소 곡률에 대한 적응성을 보여준다.

ABSTRACT

In this paper, we consider supervised learning problems such as logistic regression and study the stochastic gradient method with averaging, in the usual stochastic approximation setting where observations are used only once. We show that after $N$ iterations, with a constant step-size proportional to $1/R^2 \\sqrt{N}$ where $N$ is the number of observations and $R$ is the maximum norm of the observations, the convergence rate is always of order $O(1/\\sqrt{N})$, and improves to $O(R^2 / \\mu N)$ where $\\mu$ is the lowest eigenvalue of the Hessian at the global optimum (when this eigenvalue is greater than $R^2/\\sqrt{N}$). Since $\\mu$ does not need to be known in advance, this shows that averaged stochastic gradient is adaptive to \\emph{unknown local} strong convexity of the objective function. Our proof relies on the generalized self-concordance properties of the logistic loss and thus extends to all generalized linear models with uniformly bounded features.

연구 동기 및 목표

• 유한한 수평선과 상수 단계 크기 조건 하에서 로지스틱 회귀에서 평균화된 확률적 경사하강법(ASGD)의 수렴 행동을 분석하는 것.
• 최적점에서 헤시안 행렬의 최소 고유값 $\mu$로 측정되는 국소 강력 볼록성에 대해 ASGD가 사전에 $\mu$를 알지 못하더라도 이를 적응할 수 있음을 입증하는 것.
• 국소 강력 볼록성이 존재할 경우 수렴 속도를 $O(1/\sqrt{N})$에서 $O(R^2/\mu N)$로 향상시키되, 지수적 인자들을 도입하지 않는 것.
• 일반화된 자가동조성성과 유한한 특징 노름을 활용하여 전역 강력 볼록성 이론을 초월한 분석을 확장하는 것.

제안 방법

• 최대 특징 노름 $R$와 관측 수 $N$에 비례하여 $1/R^2\sqrt{N}$ 비례하는 상수 단계 크기를 사용한다.
• 수렴 안정성과 속도 향상을 위해 확률적 경사하강법의 반복값에 Polyak-Ruppert 평균을 적용한다.
• 로지스틱 손실의 일반화된 자가동조성성 성질을 활용하여 고차 모멘트를 제어하고 농도 경계를 유도한다.
• 시간에 대한 적분 추정과 지수 尾 꼬리 경계의 조합을 통해 기대 제곱 오차 $\mathbb{E}\|\bar{\theta}_N - \theta_*\|^2$ 의 경계를 유도한다.
• 개선된 수렴 속도를 확보하기 위해 $\mu\sqrt{N}/R \geq 500$ 기반의 임계 조건을 도입하며, 이 조건을 만족하지 못하면 기존 속도로 대체한다.
• 결과를 상수 단계 크기에서 감소하는 단계 크기로 확장하기 위해 듀얼링 트릭(doubling trick)을 사용한다. 다만 주요 분석은 상수 단계 크기 기반으로 수행된다.

실험 결과

연구 질문

• RQ1 국소 강력 볼록성이 존재할 때, 강력 볼록성 매개변수 $\mu$를 알지 못하더라도 평균화된 확률적 경사하강법이 향상된 수렴 속도를 달성할 수 있는가?
• RQ2 로지스틱 손실의 국소 곡률, 즉 최적점에서 헤시안 행렬의 최소 고유값 $\mu$로 측정되는 바에 따라 ASGD의 수렴 속도가 적응되는가?
• RQ3 기대 수렴 속도 경계를 유도할 때 선형 예측자 범위(예: $e^U$)에 대한 지수적 의존성을 피할 수 있는가?
• RQ4 전역 강력 볼록성이 필요 없이 상수 단계 크기 조건 하에서 ASGD가 로지스틱 회귀에서 $O(R^2/\mu N)$ 속도를 달성할 수 있는가?

주요 결과

• 만약 $\mu\sqrt{N}/R \geq 500$ 이면, 평균화된 반복값의 기대 제곱 오차는 $\mathbb{E}\|\bar{\theta}_N - \theta_*\|^2 \leq \frac{R^2}{N\mu^2}(6\alpha + 21)^4$ 를 만족하며, 여기서 $\alpha = R\|\theta_0 - \theta_*\|$ 이다.
• 만약 $\mu > R^2/\sqrt{N}$ 이면, 수렴 속도는 $O(1/\sqrt{N})$ 에서 $O(R^2/\mu N)$ 으로 향상되며, 이는 국소 강력 볼록성에 대한 적응성을 보여준다.
• 개선된 속도는 $1/R^2\sqrt{N}$ 정도의 상수 단계 크기로 달성되며, 일반적으로 이런 경계에 나타나는 $e^U$와 같은 지수적 인자들을 피하는 분석을 제공한다.
• 로지스틱 손실의 자가동조성성 덕분에 이 결과는 모든 일반화된 선형 모델에 대해 유한한 특징 노름을 가진 경우로 확장된다.
• 분석은 유한한 $N$과 상수 단계 크기 조건 하에서도 유효하며, 듀얼링 트릭을 통해 감소하는 단계 크기로도 확장 가능하다.