[논문 리뷰] Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes

Ohad Shamir, Tong Zhang|arXiv (Cornell University)|2012. 12. 08.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 411

한 줄 요약

이 논문은 비연속 볼록 함수 및 강력 볼록 함수에 대해 스위치 경사 하강법(SGD)의 최초의 유한 샘플 수렴 경계를 확립한다. 비연속성 가정 없이도, SGD의 마지막 반복이 강력 볼록 케이스에서 최적의 $\mathcal{O}(\log T / T)$ 하위최적성 비율을 달성함을 증명하고, 최소화된 최적 비율을 따라가는 간단하고 실시간으로 계산 가능한 다항식 감쇠 평균화 방법을 제안한다.

ABSTRACT

Stochastic Gradient Descent (SGD) is one of the simplest and most popular stochastic optimization methods. While it has already been theoretically studied for decades, the classical analysis usually required non-trivial smoothness assumptions, which do not apply to many modern applications of SGD with non-smooth objective functions such as support vector machines. In this paper, we investigate the performance of SGD without such smoothness assumptions, as well as a running average scheme to convert the SGD iterates to a solution with optimal optimization accuracy. In this framework, we prove that after T rounds, the suboptimality of the last SGD iterate scales as O(log(T)/\sqrt{T}) for non-smooth convex objective functions, and O(log(T)/T) in the non-smooth strongly convex case. To the best of our knowledge, these are the first bounds of this kind, and almost match the minimax-optimal rates obtainable by appropriate averaging schemes. We also propose a new and simple averaging scheme, which not only attains optimal rates, but can also be easily computed on-the-fly (in contrast, the suffix averaging scheme proposed in Rakhlin et al. (2011) is not as simple to implement). Finally, we provide some experimental illustrations.

연구 동기 및 목표

• 현대 기계 학습에서 흔한 비연속 목적 함수(예: 힌지 손실을 가진 SVM)에 대해 SGD 수렴에 대한 이론적 격차를 메우기 위해.
• 일반적으로 고전적 분석에서 요구되는 연속성 가정 없이도 개별 SGD 반복의 성능(특히 마지막 반복)을 분석하기 위해.
• 이전의 후행 평균화 방법의 한계를 극복하기 위해 실시간으로 계산 가능한 실용적이고 이론적으로 최적의 평균화 방법을 제안하기 위해.
• 비연속 설정에서 SGD의 날카운 유한 샘플 수렴 속도를 엄밀하게 확립하여 기존의 최소 최대 하한선과 일치시키기 위해.

제안 방법

• 볼록 함수의 경우 감소하는 스텝 크기 $\eta_t = \Theta(1/\sqrt{t})$ 와 강력 볼록 문제의 경우 $\Theta(1/t)$ 를 사용한 SGD 분석.
• 최종 반복 $\mathbf{w}_T$ 의 기대 하위최적성에 대한 유한 샘플 경계를 유도하여, 강력 볼록 함수의 경우 $\mathbb{E}[F(\mathbf{w}_T) - F(\mathbf{w}^*)] = \mathcal{O}(\log T / T)$ 를 보임.
• 다항식 감쇠 평균화 방법 제안: $\mathbf{w}_{\text{avg}} = \sum_{t=1}^T \frac{t^{-\eta}}{\sum_{s=1}^T s^{-\eta}} \mathbf{w}_t$ 에서 $\eta = 3$ 으로, 실시간으로 계산 가능.
• 이 방법이 강력 볼록 케이스에서 최소 최대 하한선과 일치하는 최적의 $\mathcal{O}(1/T)$ 수렴 속도를 달성함을 증명.
• 연속성 없이 기대 하위최적성을 유한하게 경계하기 위해 잠재 함수와 마틴갈 농도 기반의 새로운 분석 프레임워크를 사용.
• SVM 문제에서 간단한 평균화와 후행 평균화와의 실증 비교를 통해 제안된 방법의 우수한 성능을 보임.

실험 결과

연구 질문

• RQ1 비연속 볼록 및 강력 볼록 함수에 대해 SGD의 마지막 반복의 유한 샘플 수렴 속도는 무엇인가요?
• RQ2 비연속 강력 볼록 케이스에서 최소 최대 최적의 $\mathcal{O}(1/T)$ 속도를 달성할 수 있는 단순하고 실시간으로 계산 가능한 평균화 방법이 존재할 수 있나요?
• RQ3 비연속 설정에서 마지막 SGD 반복의 성능은 평균화 방법에 비해 열등한가요?
• RQ4 기울기 리프시츠 연속성 또는 고차 미분 가능성과 같은 추가 가정 없이도 SGD의 이론적 분석을 비연속 함수로 확장할 수 있을까요?
• RQ5 강력 볼록 케이스에서 마지막 반복의 $\mathcal{O}(\log T / T)$ 속도가 날카롭게 유한한가요, 아니면 향상시킬 수 있을까요?

주요 결과

• 비연속 강력 볼록 함수에 대해 마지막 SGD 반복 $\mathbf{w}_T$ 의 기대 하위최적성은 $\mathcal{O}(\log T / T)$ 로 경계되며, 거의 최적이다.
• 제안된 다항식 감쇠 평균화 방법은 강력 볼록 케이스에서 최소 최대 최적의 $\mathcal{O}(1/T)$ 수렴 속도를 달성한다.
• 다항식 감쇠 평균화 방법은 모든 이전 반복을 저장할 필요 없이 실시간으로 계산 가능하며, Rakhlin 등(2011)의 후행 평균화 방법과는 달리 이에 비해 유리하다.
• 실증 결과에 따르면 다항식 감쇠 평균화 방법이 간단한 평균화보다 우수하고, 여러 데이터셋에서 후행 평균화와 동등하거나 이를 초월하는 테스트 오차를 기록한다.
• 분석 결과, 이전의 가정과는 달리, 비연속 설정에서 SGD의 마지막 반복이 하위최적성이 아님을 입증하며, $\mathcal{O}(\log T / T)$ 속도를 달성할 수 있음이 확인된다.
• 이 논문은 기울기 연속성 가정 없이도 비연속 함수에 대해 SGD의 최초의 유한 샘플 수렴 경계를 제공한다.