[논문 리뷰] On Stochastic Subgradient Mirror-Descent Algorithm with Weighted Averaging

Angelia Nedich, Soomin Lee|arXiv (Cornell University)|2013. 07. 07.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 강력한 볼록 함수에 대해 최적의 수렴 속도인 $1/k$와 일반 볼록 함수에 대해 $1/\sqrt{k}$를 달성하는 가중치가 부여된 반복 평균화를 통한 확률적 하향 미러-경사하강법을 제안한다. 이는 이전 방법보다 더 단순한 업데이트 규칙을 사용한다. 핵심 혁신은 Tseng의 가속화 프레임워크에서 영감을 얻은 스텝사이즈 및 가중치 선택으로, $1/\sqrt{k+1}$와 같은 비합계 가능한 스텝사이즈를 사용함에도 불구하고 거의 확실한 부분수열 수렴을 가능하게 한다. 이는 문헌에서 새로운 결과이다.

ABSTRACT

This paper considers stochastic subgradient mirror-descent method for solving constrained convex minimization problems. In particular, a stochastic subgradient mirror-descent method with weighted iterate-averaging is investigated and its per-iterate convergence rate is analyzed. The novel part of the approach is in the choice of weights that are used to construct the averages. Through the use of these weighted averages, we show that the known optimal rates can be obtained with simpler algorithms than those currently existing in the literature. Specifically, by suitably choosing the stepsize values, one can obtain the rate of the order $1/k$ for strongly convex functions, and the rate $1/\sqrt{k}$ for general convex functions (not necessarily differentiable). Furthermore, for the latter case, it is shown that a stochastic subgradient mirror-descent with iterate averaging converges (along a subsequence) to an optimal solution, almost surely, even with the stepsize of the form $1/\sqrt{1+k}$, which was not previously known. The stepsize choices that achieve the best rates are those proposed by Paul Tseng for acceleration of proximal gradient methods.

연구 동기 및 목표

• 볼록 및 강력 볼록 문제에 대해 최적의 수렴 속도를 달성하는 더 단순한 확률적 하강 미러-경사하강 알고리즘을 개발하는 것.
• 특히 $\alpha_k = 1/\sqrt{k+1}$와 같은 비합계 가능한 스텝사이즈 하에서 평균화된 반복의 거의 확실한 부분수열 수렴을 확립하는 것.
• Tseng와 Nesterov의 영감을 얻은 새로운 리아푸노프 함수 및 스텝사이즈-가중치 전략을 통해 기존의 가속화 방법을 통합하고 단순화하는 것.
• 시뮬레이션을 통해 제안된 방법이 AC-SA 및 Nesterov의 PD 방법과 같은 기존의 가속화 알고리즘의 성능을 따라하거나 능가함을 보여주는 것.

제안 방법

• 볼록 제약 집합 위에 Bregman 거리 기반 투영을 사용하는 확률적 하강 미러-경사하강 업데이트를 사용한다.
• 특정 경우에 따라 $\alpha_k = 1/\sqrt{k+1}$ 또는 $\alpha_k = 1/k$와 같은 스텝사이즈 수열에서 유도된 가중치를 사용해 반복의 가중치 평균화를 적용한다.
• 미러-경사하강 진행과 평균화 다이내믹스를 결합한 새로운 리아푸노프 함수를 도입하여 수렴성을 분석한다.
• Tseng의 가속화 프레임워크에서 영감을 얻은 스텝사이즈 규칙을 활용하며, 이는 복잡한 세 개의 수열 구성이 필요 없이도 최적의 수렴 속도를 도출함을 보여준다.
• 강력한 볼록 함수와 일반 볼록 함수 모두에 적용 가능한 통합 분석을 통해 수렴 속도를 유도한다.
• 최종 출력으로 가중치 $w_i$가 스텝사이즈 수열에 비례하는 평균화된 반복 $\hat{x}_k = \sum_{i=1}^k w_i x_i / \sum_{i=1}^k w_i$를 사용한다.

실험 결과

연구 질문

• RQ1 복잡한 세 수열 업데이트 없이도, 더 단순한 확률적 미러-경사하강 알고리즘이 강력 볼록 함수에 대해 최적의 $1/k$ 수렴 속도를 달성할 수 있는가?
• RQ2 비합계 가능한 스텝사이즈 $1/\sqrt{k+1}$를 사용한 가중치 평균화가 최적의 해로의 거의 확실한 부분수열 수렴을 보장하는가?
• RQ3 제안된 방법은 AC-SA 및 Nesterov의 PD 방법과 같은 기존의 가속화된 확률적 하강 미러-경사하강 방법의 성능을 따라하거나 능가할 수 있는가?
• RQ4 리아푸노프 함수는 강력 볼록 및 일반 볼록 케이스 모두에 대해 통합된 수렴 분석을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 알고리즘은 Ghadimi와 Lan [9] 및 Juditsky 등 [10]의 이전 가속화 방법보다 더 단순한 업데이트 규칙을 사용하여 강력 볼록 함수에 대해 최적의 $1/k$ 수렴 속도를 달성한다.
• 콤���트 제약 집합이 있는 일반 볼록 함수의 경우, 스텝사이즈 $\alpha_k = 1/\sqrt{k+1}$를 사용하여 기존의 최고 성능인 $1/\sqrt{k}$ 수렴 속도를 달성한다.
• 이 논문은 비합계 가능한 스텝사이즈 $\alpha_k = 1/\sqrt{k+1}$를 사용하는 확률적 미러-경사하강법에 대해 거의 확실한 부분수열 수렴 결과를 최초로 확립하였다. 이는 중요한 이론적 진전이다.
• 시뮬레이션 결과, 제안된 방법은 AC-SA 및 Nesterov의 PD 방법과 유사한 성능을 보이며, 일부 사례에서는 초기 반복에서 약간의 우월성을 보였다.
• 스텝사이즈에서 유도된 가중치 평균화 기법은 추가 메모리나 복잡한 수열 추적 없이도 최적의 수렴 속도를 가능하게 한다.
• 새로운 리아푸노프 함수의 사용은 수렴 분석을 단순화하고 강력 볼록 및 일반 볼록 케이스 모두의 처리를 통합한다.