[논문 리뷰] Universal fast gradient method for stochastic composit optimization problems

Alexander Gasnikov, Yurii Nesterov|arXiv (Cornell University)|2016. 04. 18.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 12

한 줄 요약

이 논문은 볼록 및 엄격히 볼록 복합 확률 최적화 문제를 위한 보편적인 빠른 기울기 방법인 삼각형 방법(Triangle Method, TM)을 소개한다. 이 방법은 반복마다 단 한 번의 투영만 필요로 한다. TM은 보편적 삼각형 방법(Universal Triangle Method, UTM)과 확률적 보편적 삼각형 방법(Stochastic Universal Triangle Method, SUTM)으로 확장되어 최적 수렴 속도를 달성하고 기존 알려진 하한값과 일치하며, 구조적 가정 하에서 성능이 향상된다.

ABSTRACT

We propose a new simple variant of Fast Gradient Method that requires only one projection per iteration. We called this method Triangle Method (TM) because it has a corresponding geometric description. We generalize TM for convex and strictly convex composite optimization problems. Then we propose Universal Triangle Method (UTM) for convex and strictly convex composite optimization problems (see Yu. Nesterov, Math. Program. 2015. for more details about what is Universal Fast Gradient Method). Finally, based on mini-batch technique we propose Stochastic Universal Triangle Method (SUTM). SUTM can be applied to stochastic convex and strictly convex composite optimization problems. Denote, that all the methods TM, UTM, SUTM are continuous on strictly convexity parameter and all of them reach known lower bounds. With additional assumption about the structure of the problems these methods work better than the lower bounds.

연구 동기 및 목표

• 반복마다 최소한의 계산 부담을 요구하면서도 최적 수렴 속도를 확보하는 확률적 복합 최적화를 위한 빠른 기울기 방법을 개발하는 것.
• 삼각형 방법(TM)을 볼록 및 엄격히 볼록 복합 문제 모두를 다룰 수 있도록 일반화하는 것.
• 강력 볼록성 또는 리프시츠 상수와 같은 문제 파rameter를 사전에 알지 못해도 적응 가능한 보편적 변형(UTM)을 설계하는 것.
• 소형 배치 기법을 사용해 확률적 환경에 적용한 UTM 프레임워크를 확장하여 대규모 문제에 적합한 SUTM를 도출하는 것.
• 기존 알려진 이론적 하한값과 일치하는 수렴 속도를 달성하면서도, 문제의 추가 구조적 가정 하에서 이를 초월하는 성능을 확보하는 것.

제안 방법

• 삼각형 방법(TM)은 기하학적 동기를 가진 것으로, 반복마다 단 한 번의 투영만 필요한 세 점 갱신 방식을 사용한다.
• UTM은 강력 볼록성 또는 리프시츠 상수의 사전 지식이 필요 없는 적응형 스텝 사이즈 전략을 통합함으로써 TM을 일반화한다.
• SUTM은 소형 배치를 사용해 기울기를 추정함으로써 UTM 프레임워크를 확률적 환경에 적용하여 분산을 감소시킨다.
• 수렴을 가속화하기 위해 철저히 설계된 외삽 단계를 포함한 모멘타임 유사 갱신을 사용한다.
• 모든 방법은 강력 볼록성 파rameter에 대해 연속적이며, 문제 유형 전반에서 안정적인 동작을 보장한다.
• 이론적 분석을 통해 결정론적 및 확률적 환경 모두에서 알려진 하한값과 일치하는 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 복합 최적화를 위한 빠른 기울기 방법을 반복마다 한 번의 투영만 요구하면서도 최적 수렴 속도를 유지할 수 있는가?
• RQ2 강력 볼록성 및 리프시츠 상수와 같은 알려지지 않은 문제 파rameter에 적응할 수 있는 보편적 방법을 어떻게 설계할 수 있는가?
• RQ3 소형 배치 기반 기울기 추정을 사용해 확률적 환경에서도 최적 수렴 속도를 달성할 수 있는가?
• RQ4 문제에 추가적인 구조적 가정(예: 미세도 또는 특정 문제 기하학)이 있을 경우, 방법이 알려진 하한값을 초월하는가?
• RQ5 강력 볼록성 파arameter가 알려져 있지 않거나 변동할 경우, 방법의 이론적 수렴 행동은 어떻게 되는가?

주요 결과

• 제안된 삼각형 방법(TM)은 볼록 및 엄격히 볼록 복합 문제에 대해 반복마다 한 번의 투영만으로 최적 수렴 속도를 달성한다.
• 보편적 삼각형 방법(UTM)은 문제 파arameter의 사전 지식이 없이도 동일한 최적 수렴 속도를 확보하여 보편적으로 적용 가능하다.
• 확률적 보편적 삼각형 방법(SUTM)은 확률적 복합 최적화 문제에 대해 알려진 하한값과 일치한다.
• 부가적인 구조적 가정(예: 미세도 또는 특정 문제 기하학) 하에서는 이론적 하한값을 초월하는 성능을 보인다.
• 모든 방법은 강력 볼록성 파arameter에 대해 연속적이며, 다양한 문제 조건에서 안정적인 성능을 보장한다.
• 이론적 분석을 통해 TM, UTM, SUTM의 수렴 속도가 최적임을 확인하고 알려진 정보 이론적 하한값과 일치함을 입증한다.