[논문 리뷰] Accelerated Alternating Minimization, Accelerated Sinkhorn's Algorithm and Accelerated Iterative Bregman Projections

Sergey Guminov, Pavel Dvurechensky외 2명|arXiv (Cornell University)|2019. 06. 09.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 28

한 줄 요약

이 논문은 복소수 문제에 대해 $1/k^2$ 수렴 속도를 달성하면서도 볼록성 또는 기울기 리프시츠 상수를 알 필요 없이, 순차 최소화의 실용적 효율성과 네스테로프 가속 기법의 이론적 최적성의 장점을 결합한 가속화된 교대 최소화 알고리즘을 제안한다. 비볼록 문제에 대해서는 $1/k$ 수렴 속도를 확보한다. 이 방법은 적응형이며 부드러운 볼록 및 비볼록 설정에서 균일하게 최적이다. 원본-쌍대 변형은 선형 제약 조건이 있는 강한 볼록 문제에서 목적 함수 잔여와 제약 조건 이행성에 대해 $1/k^2$ 수렴 속도를 달성한다.

ABSTRACT

Alternating minimization (AM) procedures are practically efficient in many applications for solving convex and non-convex optimization problems. On the other hand, Nesterov's accelerated gradient is theoretically optimal first-order method for convex optimization. In this paper we combine AM and Nesterov's acceleration to propose an accelerated alternating minimization algorithm. We prove $1/k^2$ convergence rate in terms of the objective for convex problems and $1/k$ in terms of the squared gradient norm for non-convex problems, where $k$ is the iteration counter. Our method does not require any knowledge of neither convexity of the problem nor function parameters such as Lipschitz constant of the gradient, i.e. it is adaptive to convexity and smoothness and is uniformly optimal for smooth convex and non-convex problems. Further, we develop its primal-dual modification for strongly convex problems with linear constraints and prove the same $1/k^2$ for the primal objective residual and constraints feasibility.

연구 동기 및 목표

• 순차 최소화의 실용적 효율성과 볼록 최적화에서 네스테로프 가속 기울기의 이론적 최적성 사이의 격차를 메우기 위해.
• 리프시츠 상수나 볼록성과 같은 문제 파rameter의 사전 지식이 필요 없이 최적 수렴 속도를 달성하는 알고리즘을 개발하기 위해.
• 원본-쌍대 수정을 통해 선형 제약 조건이 있는 강한 볼록 문제에 대한 가속 프레임워크를 확장하기 위해.
• 부드러운 볼록 및 비볼록 문제 전반에 걸쳐 균일한 수렴 보장을 수립하기 위해.

제안 방법

• 수렴 속도를 가속하기 위해 네스테로프의 운동량 기법을 순차 최소화 프레임워크에 통합한다.
• 기울기의 리프시츠 상수나 문제의 볼록성에 대한 지식이 필요 없는 적응형 스텝 사이즈 전략을 적용한다.
• 리아파노프 함수를 사용하여 목적 함수 감소와 기울기 노름 감쇠를 분석함으로써 수렴 속도를 유도한다.
• 원본 목적 함수를 동시에 최소화하고 선형 제약 조건의 이행성을 강제하는 원본-쌍대 변형을 제안한다.
• 수렴 속도를 향상시키기 위해 반복적 브레그만 투영을 기반으로 하되, 가속 기법을 추가하여 확장한다.
• 모멘텀 적응을 통해 재시작 메커니즘을 암묵적으로 적용하여 최적 수렴 속도를 유지한다.

실험 결과

연구 질문

• RQ1 순차 최소화는 볼록 문제에 대해 문제 파rameter의 사전 지식이 없이도 최적의 $1/k^2$ 수렴 속도를 달성할 수 있는가?
• RQ2 제안된 가속 프레임워크는 비볼록 설정에서 기울기 노름의 제곱에 대해 $1/k$ 수렴 속도를 유지하는가?
• RQ3 알고리즘이 선형 제약 조건이 있는 강한 볼록 문제를 처리하도록 조정될 수 있으며, 최적 수렴 속도를 유지할 수 있는가?
• RQ4 문제에 특화된 튜닝 없이도 이 방법이 볼록 및 비볼록 부드러운 문제 전반에 걸쳐 균일하게 최적일 수 있는가?
• RQ5 원본-쌍대 공식화는 목적 함수 잔여와 제약 위반에 대해 모두 $1/k^2$ 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 가속화된 순차 최소화는 부드러운 볼록 문제에서 목적 함수에 대해 $1/k^2$ 수렴 속도를 달성한다.
• 비볼록 문제에 대해서는 알고리즘이 기울기 노름의 제곱에 대해 $1/k$ 수렴 속도를 보장한다.
• 이 방법은 적응형이므로 볼록성 또는 기울기 리프시츠 상수에 대한 지식이 필요 없다.
• 원본-쌍대 변형은 선형 제약 조건이 있는 강한 볼록 문제에서 원본 목적 함수 잔여와 제약 조건 이행성에 대해 $1/k^2$ 수렴 속도를 달성한다.
• 이 알고리즘은 적응형 특성 덕분에 매끄러운 볼록 및 비볼록 문제 전반에 걸쳐 균일하게 최적이다.
• 이론적 보장은 목적 함수 감소와 기울기 감쇠를 동시에 추적하는 리아파노프 분석을 통해 확립된다.