[논문 리뷰] A unified framework for Bregman proximal methods: subgradient, gradient, and accelerated gradient schemes

David H. Gutman, Javier Peña|arXiv (Cornell University)|2018. 12. 26.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 볼록 최적화에서 Bregman 프록시멀 1차 방법을 분석하기 위한 통합 프레임워크를 제안하며, 볼록 쌍대성 성질을 활용하여 하향 기울기, 기울기, 가속 기울기 방법의 수렴 속도를 증명한다. 상대적 스무스니스 및 삼각형 스케일링 조건이 약간의 조건에서 성립할 때, 스무스니스나 스케일링 상수에 대한 사전 지식이 필요 없이 최고의 알려진 수렴 속도를 달성하는 새로운 가속 Bregman 프록시멀 기울기 알고리즘을 제안한다.

ABSTRACT

We provide a unified framework for analyzing the convergence of Bregman proximal first-order algorithms for convex minimization. Our framework hinges on properties of the convex conjugate and gives novel proofs of the convergence rates of the Bregman proximal subgradient, Bregman proximal gradient, and a new accelerated Bregman proximal gradient algorithm under fairly general and mild assumptions. Our accelerated Bregman proximal gradient algorithm attains the best-known accelerated rate of convergence when suitable relative smoothness and triangle scaling assumptions hold. However, the algorithm requires no prior knowledge of any related smoothness or triangle scaling constants.

연구 동기 및 목표

• 볼록 쌍대성 성질을 활용하여 볼록 최소화를 위한 Bregman 프록시멀 1차 알고리즘의 분석을 통합하는 것.
• 일반적이고 온건한 가정 하에 Bregman 프록시멀 하향 기울기, 기울기, 가속 기울기 방법의 수렴 속도를 확립하는 것.
• 스무스니스나 삼각형 스케일링 상수에 대한 사전 지식이 없이도 최적의 수렴 속도를 달성하는 새로운 가속 Bregman 프록시멀 기울기 알고리즘을 개발하는 것.
• 기존 접근 방식보다 더 단순하고 일반적인 수렴 증명을 제공하는 것.

제안 방법

• 프레임워크는 다양한 Bregman 프록시멀 계획의 수렴 행동을 분석하고 통합하기 위해 볼록 쌍대성의 성질에 기반한다.
• 스무스니스나 삼각형 스케일링 상수에 대한 지식이 필요 없이 문제 구조에 동적으로 적응하는 새로운 가속 Bregman 프록시멀 기울기 알고리즘을 도입한다.
• 상대적 스무스니스 및 삼각형 스케일링 가정을 사용하여 수렴 속도를 유도한다. 이는 일반적이고 온건한 가정이다.
• Bregman 발산을 사용하여 표준 유클리드 투영을 일반화한 프록시멀 연산자를 정의한다.
• 이중성과 볼록 쌍대성 항등식을 이용해 반복값의 진전을 유 bounds하기 위해 분석을 수행한다.
• 이 프레임워크는 단일 이론적 틀 안에서 하향 기울기, 기울기, 가속 계획을 통합적으로 다룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 Bregman 프록시멀 하향 기울기, 기울기, 가속 기울기 방법을 단일 이론적 틀 안에서 어떻게 분석할 수 있는가?
• RQ2 Bregman 프록시멀 1차 방법의 수렴을 확보하기 위해 필요한 최소한의 가정은 무엇인가?
• RQ3 스무스니스나 스케일링 상수에 대한 사전 지식이 없이도 최고의 알려진 수렴 속도를 달성하는 가속 Bregman 프록시멀 기울기 알고리즘을 설계할 수 있는가?
• RQ4 볼록 쌍대성 성질은 이러한 방법의 수렴 증명을 더 단순하고 일반적으로 만들 수 있는가?

주요 결과

• 제안된 프레임워크는 볼록 쌍대성 분석을 통해 Bregman 프록시멀 하향 기울기 및 기울기 방법의 수렴 속도에 대해 새로운 단순화된 증명을 제공한다.
• 새로운 가속 Bregman 프록시멀 기울기 알고리즘은 상대적 스무스니스 및 삼각형 스케일링 가정 하에서 최고의 알려진 수렴 속도를 달성한다.
• 알고리즘이 스무스니스나 삼각형 스케일링 상수에 대한 사전 지식이 필요 없어 실용적 적용 가능성이 향상된다.
• 수렴 분석는 상당히 일반적이고 온건한 가정 하에서도 성립하여 적용 가능한 최적화 문제의 범위를 넓힌다.