[논문 리뷰] About accelerated randomized methods

Alexander Gasnikov, Pavel Dvurechensky외 1명|arXiv (Cornell University)|2015. 08. 10.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 새로운 리스타트 기법을 통해 최적의 SIGMA 방법에서 비가속화된 랜덤화된 좌표강하법과 확률적 1차 최적화 방법을 유도함으로써 가속화된 랜덤화 최적화 방법을 위한 통합 프레임워크를 수립한다. 또한 이중 해답 복원, 조건부 최적화로의 일반화, 네스테로프의 유니버설 방법 확장이 가능한 새로운 커플링 기반 접근법을 제안한다.

ABSTRACT

We show how one can obtain nonaccelerated randomized coordinate descent method (Yu. Nesterov, 2010) and nonaccelerated method of randomization of sum-type functional (Le Roux-Schmidt-Bach, 2012) from the optimal method for the stochastic optimization problem (SIGMA, Devolder-Glineur-Nesterov-Dvurechensky-Gasnikov, 2014). The main trick is a special restart technique. We considered this trick to be usefull in others contexts. We consider only strongly convex case. We show that accelerated variants of this methods seems to be nontrivial in this context. That is, it is hard (perhaps impossible) to obtain accelerated variants using the same trick. We also propose new approach for accelerated coordinate descent methods. This approach is based on the coupling technique (Allen-Zhu-Orrechia, 2015) and allows us: to generalize accelerated coordinate descent methods for conditional optimization problems, to obtain the dual solution due to the primal-dual nature, to extend Universal method (Yu. Nesterov, 2013) to accelerated coordinate descent methods etc.

연구 동기 및 목표

• 최적의 SIGMA 방법에서 비가속화된 랜덤화된 방법(예: 좌표강하법, 합형 기능 랜덤화)을 유도하고 통합하는 것.
• 동일한 리스타트 기법이 강凸 조건 하에서 가속화된 변형을 도출할 수 있는지 조사하는 것.
• 개선된 구조적 성질을 갖는 새로운 커플링 기반 접근법을 통해 좌표강하법의 가속화를 도모하는 것.
• 원-이중 커플링을 통해 네스테로프의 유니버설 방법(2013)을 가속화된 좌표강하법으로 확장하는 것.
• 제안된 프레임워크를 통해 이중 해답 계산과 조건부 최적화 문제 처리를 가능하게 하는 것.

제안 방법

• 비가속화된 랜덤화된 좌표강하법과 합형 기능 방법을 SIGMA 방법에서 유도하기 위해 전용 리스타트 기법을 사용한다.
• 앨런-즈우와 올로르치아(2015)의 커플링 기법을 응용하여 가속화된 좌표강하법 알고리즘을 구축한다.
• 원-이중 프레임워크를 도입하여 원-반복과 함께 자연스럽게 이중 해답을 도출한다.
• 제약 조건을 커플링 메커니즘에 통합함으로써 조건부 최적화 문제에 대한 접근을 일반화한다.
• 유연한 스텝 사이즈 전략을 좌표별 업데이트에 적응시키어 네스테로프의 유니버설 방법을 좌표강하법에 확장한다.
• 이론적 분석과 수렴 보장을 위한 기초로 강凸 조건 설정을 사용한다.

실험 결과

연구 질문

• RQ1 비가속화된 방법에 사용된 동일한 리스타트 기법이 강凸 조건 하에서 가속화된 변형을 도출하는 데 확장 가능한가?
• RQ2 동시에 이중 해답을 제공하고 조건부 제약 하에서도 수렴성을 유지하는 가속화된 좌표강하법을 설계할 수 있는가?
• RQ3 유니버설 방법을 좌표강하법 설정에 적응시키되, 그 적응성과 유니버설 성질을 유지할 수 있는가?
• RQ4 커플링 기법이 랜덤화 최적화에서 가속화 및 이중 해답 복원을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 제안된 프레임워크가 기존의 랜덤화 방법들을 단일 이론적 기반으로 통합할 수 있는가?

주요 결과

• 리스타트 기법은 SIGMA 방법에서 비가속화된 랜덤화된 방법을 성공적으로 유도하여 핵심 알고리즘 간의 통합적 연결 고리를 확립한다.
• 동일한 리스타트 메커니즘을 통해 동일한 방법의 가속화된 변형을 도출하는 것은 비현실적으로 보이며, 이는 이 접근법이 가속화에 있어 본질적인 한계를 지닌다는 것을 시사한다.
• 제안된 커플링 기반 방법은 원-이중 구조 덕분에 이중 해답 계산이 가능하며, 이는 표준 랜덤화 방법에서는 자연스럽게 존재하지 않는 특징이다.
• 프레임워크는 조건부 최적화 문제로 일반화되어, 가속화된 좌표강하법 프레임워크 내에서 제약 조건이 있는 최적화를 가능하게 한다.
• 유니버설 방법은 좌표강하법으로 성공적으로 확장되었으며, 적응형 스텝 사이즈 행동과 유니버설 수렴 성질을 유지한다.
• 이론적 분석은 강凸 조건 하에서 알려진 가속화 방법의 수렴 속도와 일치하는 수렴 속도를 확인한다.