[논문 리뷰] Nonasymptotic convergence of stochastic proximal point algorithms for constrained convex optimization

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|2017. 06. 20.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 9

한 줄 요약

이 논문은 제약 조건이 있는 볼록 최적화를 위한 확률적 프락시멀 포인트(SPP) 알고리즘의 점점 수렴 성질을 분석하며, 평균 SPP(A-SPP)와 정규화 SPP(RSPP)와 같은 변형을 제안한다. SPP의 수렴 속도는 O(1/ϵ¹/γ)이며 RSPP는 O(1/ϵ¹⁺¹/γ)로 나타내어, 단계 크기 지수 γ가 감소할수록 성능이 떨어지며, 실험적으로 RSPP가 가장 빠른 수렴 속도를 보이고 A-SPP는 초기 단계 크기 선택에 가장 강인한 것으로 나타났다.

ABSTRACT

A very popular approach for solving stochastic optimization problems is the stochastic gradient descent method (SGD). Although the SGD iteration is computationally cheap and the practical performance of this method may be satisfactory under certain circumstances, there is recent evidence of its convergence difficulties and instability for unappropriate parameters choice. To avoid these drawbacks naturally introduced by the SGD scheme, the stochastic proximal point algorithms have been recently considered in the literature. We introduce a new variant of the stochastic proximal point method (SPP) for solving stochastic convex optimization problems subject to (in)finite intersection of constraints satisfying a linear regularity type condition. For the newly introduced SPP scheme we prove new nonasymptotic convergence results. In particular, for convex and Lipschitz continuous objective functions, we prove nonasymptotic estimates for the rate of convergence in terms of the expected value function gap of order $\mathcal{O}(1/k^{1/2})$, where $k$ is the iteration counter. We also derive better nonasymptotic bounds for the rate of convergence in terms of expected quadratic distance from the iterates to the optimal solution for smooth strongly convex objective functions, which in the best case is of order $\mathcal{O}(1/k)$. Since these convergence rates can be attained by our SPP algorithm only under some natural restrictions on the stepsize, we also introduce a restarting variant of SPP method that overcomes these difficulties and derive the corresponding nonasymptotic convergence rates. Numerical evidence supports the effectiveness of our methods in real-world problems.

연구 동기 및 목표

• 제약 조건 하에서 확률적 프락시멀 포인트 알고리즘의 비점점 수렴 거동을 분석하는 것.
• 유한 시간 설정에서 SPP, 평균 SPP(A-SPP), 정규화 SPP(RSPP), SGD의 성능을 비교하는 것.
• 단계 크기 지수 γ에 의존하는 이론적 수렴 속도를 실험적으로 검증하는 것.
• 알고리즘의 초기 단계 크기 μ₀ 및 단계 크기 감쇠 비율 γ에 대한 내성에 대한 평가

제안 방법

• μk = μ₀ / k^γ 형태의 점점 감소하는 단계 크기 규칙을 적용한 확률적 프락시멀 포인트 알고리즘을 사용한다.
• 과거 반복값의 가중 평균을 출력함으로써 안정성을 향상시키기 위해 평균화된 변형(A-SPP)을 도입한다.
• 수렴 속도와 강인성을 향상시키기 위해 정규화된 SPP 변형(RSPP)을 제안한다.
• 랜덤 최소 제곱 문제와 실제 마크owitz 포트폴리오 최적화를 통해 경험적 리스크 최소화를 수행하여 알고리즘을 테스트한다.
• 반복 과정에서 최적 해와의 제곱 상대 거리를 수렴도 측정 지표로 사용한다.
• γ 값(1, 3/4, 1/2, 1/4)과 초기 단계 크기 μ₀(0.5, 1)를 다양하게 설정하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 볼록 최적화 하에서 SPP 알고리즘의 비점점 수렴 속도는 무엇인가?
• RQ2 단계 크기 지수 γ의 선택이 SPP와 RSPP의 수렴 속도와 강인성에 어떤 영향을 미치는가?
• RQ3 A-SPP는 다양한 초기 단계 크기 값에서 표준 SPP 및 RSPP와 비교해 안정성 측면에서 어떻게 다른가?
• RQ4 γ가 감소함에 따라 SPP, RSPP, A-SPP, SGD는 데이터 한 번 순회 시 어떻게 성능을 발휘하는가?
• RQ5 실험 결과가 이론적 O(1/ϵ¹/γ) 및 O(1/ϵ¹⁺¹/γ) 수렴 속도를 어느 정도 지지하는가?

주요 결과

• SPP 알고리즘은 단계 크기 지수 γ = 1일 때 최고의 성능를 보이며, 이는 이론적 예측을 확인한다.
• RSPP는 실험 전반에서 SPP, A-SPP, SGD를 모두 앞서는 가장 빠른 수렴 속도를 보였다.
• A-SPP는 초기 단계 크기 μ₀의 변화에 대해 뛰어난 강인성을 보이며, μ₀ = 0.5와 μ₀ = 1일 때 모두 안정된 성능 유지를 하였다.
• SGD는 γ가 감소함에 따라 성능이著しく 악화되며, 특히 γ = 1/2일 때 μ₀에 매우 민감하게 반응하였다.
• 실험 결과는 이론적 수렴 속도와 매우 밀접하게 일치하였다: SPP는 O(1/ϵ¹/γ)로 수렴하고 RSPP는 O(1/ϵ¹⁺¹/γ)로 수렴하였다.
• SPP와 RSPP의 성능은 γ가 감소함에 따라 악화되며, 이는 이론적으로 예측된 수렴 속도와 안정성 사이의 상충관계를 확인한다.