[논문 리뷰] Complexity of finding near-stationary points of convex functions stochastically

Damek Davis, Dmitriy Drusvyatskiy|arXiv (Cornell University)|2018. 02. 21.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 7

한 줄 요약

이 논문은 볼록 최적화를 위한 확률적 하향 경사법을 제안하며, 모레우 환경의 기울기로 near-stationary 점을 찾는 데 near-optimal 수렴 속도 $\widetilde{O}(\varepsilon^{-2})$ 를 달성한다. 점진적 정규화와 반복 평균화를 결합함으로써 이전의 $O(\varepsilon^{-2.5})$ 속도를 초월하며, 부드럽지 않은 경우에 네스테로프의 가속화 방법의 확률적 대응을 제공한다.

ABSTRACT

In a recent paper, we showed that the stochastic subgradient method applied to a weakly convex problem, drives the gradient of the Moreau envelope to zero at the rate $O(k^{-1/4})$. In this supplementary note, we present a stochastic subgradient method for minimizing a convex function, with the improved rate $\widetilde O(k^{-1/2})$.

연구 동기 및 목표

• 근사 정류점의 수렴 속도 측면에서 부드럽지 않은 볼록 최적화와 부드러운 볼록 최적화 간 격차를 좁히기.
• 원래의 비부드러운 문제에서 근사 정류성을 대체로 사용할 수 있는 모레우 환경의 기울기의 작은 값을 갖는 점을 효율적으로 찾는 확률적 알고리즘 개발.
• 앨런-즈의 점진적 정규화 기법을 볼록 함수의 확률적 하향 경사 설정으로 확장하기.
• 부드러운 볼록 최적화에서 알려진 최적의 $\widetilde{O}(\varepsilon^{-2})$ 복잡도와 일치하는 수렴 속도 달성하기.

제안 방법

• 비부드러운 볼록 함수 $\varphi$ 의 부드러운 근사로 모레우 환경 $\varphi_\lambda(x)$ 를 사용하며, 그 기울기 노름 $\|\nabla\varphi_\lambda(x)\|$ 이 근사 정류성을 측정한다.
• 점진적 정규화 전략 적용: 증가하는 정규화 매개수 $\mu_i = 2^i \mu$ 를 갖는 정규화된 하위문제를 반복적으로 해결.
• 분산을 줄이고 수렴을 향상시키기 위해 반복 평균화를 사용한 확률적 하향 경사 하강법 적용.
• 이중 수준 구조 도입: 내부 루프는 정규화된 함수를 최소화하고, 외부 루프는 점진적으로 정규화 강도를 증가시킴.
• 근처 점에서의 하향 기울기 노름과 $\|\nabla\varphi_\lambda(x)\|$ 를 연결하기 위해 $\mathrm{prox}_{\lambda\varphi}(x)$ 를 사용하여 의미 있는 정류성 보장을 확보.
• 정규화된 해를 원래 도메인으로 되돌리기 위해 랜덤화된 라운딩 단계를 도입하여 기대치 기반 수렴 유지.

실험 결과

연구 질문

• RQ1 부드러운 볼록 최적화에서 알려진 $\widetilde{O}(\varepsilon^{-2})$ 수렴 속도가, 확률적 비부드러운 설정에서도 $\varepsilon$-정류점 찾기에 달성될 수 있는가?
• RQ2 앨런-즈(2017)의 점진적 정규화 기법이 볼록 함수의 확률적 하향 경사 방법에 적응될 수 있는가?
• RQ3 확률적 하향 경사 설정에서 정규화 강도, 반복 횟수, 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 비부드러운 경우에서 모레우 환경의 기울기 노름은 근처 점에서의 진짜 하향 기울기 노름과 어떻게 관련이 있는가?

주요 결과

• 알고리즘은 확률적 하향 기울기 오рак불 및 투영 맵에 대한 총 $O\left(\frac{\log^3(\rho D / \varepsilon)(L^2 + \rho^2 D^2)}{\varepsilon^2}\right)$ 번의 호출 이후 기대 기울기 노름 $\mathbb{E}\|\nabla\varphi_{1/(2\rho)}(\bar{z})\| \leq \varepsilon$ 을 달성한다.
• 수렴 속도는 $\widetilde{O}(\varepsilon^{-2})$ 로, 부드러운 볼록 최적화에서 알려진 최적 속도와 일치하며, 이전의 확률적 비부드러운 경우의 $O(\varepsilon^{-2.5})$ 속도를 향상시킨다.
• 강한 볼록 함수의 경우, 점진적 정규화와 평균화를 통해 $\widetilde{O}(\varepsilon^{-2})$ 속도를 달성하며, 강한 볼록성 매개수 $\mu$ 에 대한 명시적 의존성 포함.
• 소규모 이차 정규화를 추가함으로써 비강한 볼록 문제에 대해 강건해지며, 최종 해는 볼록 조합을 통해 원래 도메인으로 다시 매핑되어 타당성과 수렴성을 유지한다.
• 분석을 통해 $\|\nabla\varphi_\lambda(x)\|$ 가 $\widehat{x} = \mathrm{prox}_{\lambda\varphi}(x)$ 와의 거리를 제어함을 입증하여, 이 기준이 정류성 측정으로서의 타당성을 입증한다.