[논문 리뷰] Bregman Augmented Lagrangian and Its Acceleration

Shen Yan, Niao He|arXiv (Cornell University)|2020. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 6

한 줄 요약

이 논문은 새로운 가속화 Bregman 프락시멀 포인트 방법을 개발하여 가속화된 Bregman 증강 라그랑주 방법(BALM)을 제안함으로써, 이중 문제에 대해 O(1/(∑√ηₖ)²)의 향상된 수렴 속도와 이중 목표 함수에 대해 O(1/T²)의 수렴 속도를 달성한다. 이는 이중 수렴은 가속화될 수 있지만, 일반적으로 원본 수렴과 타당성 위반률은 O(1/T) 수준에 머무르며, Nesterov의 이중 평균화 방법과 같은 특정 가속화 기법을 적용하지 않는 한 향상되지 않는다는 것을 보여준다.

ABSTRACT

We study the Bregman Augmented Lagrangian method (BALM) for solving convex problems with linear constraints. For classical Augmented Lagrangian method, the convergence rate and its relation with the proximal point method is well-understood. However, the convergence rate for BALM has not yet been thoroughly studied in the literature. In this paper, we analyze the convergence rates of BALM in terms of the primal objective as well as the feasibility violation. We also develop, for the first time, an accelerated Bregman proximal point method, that improves the convergence rate from $O(1/\sum_{k=0}^{T-1}η_k)$ to $O(1/(\sum_{k=0}^{T-1}\sqrt{η_k})^2)$, where $\{η_k\}_{k=0}^{T-1}$ is the sequence of proximal parameters. When applied to the dual of linearly constrained convex programs, this leads to the construction of an accelerated BALM, that achieves the improved rates for both primal and dual convergences.

연구 동기 및 목표

• 선형 제약 조건을 가진 볼록 문제에 대해 Bregman 증강 라그랑주 방법(BALM)의 수렴 속도를 분석하는 것.
• 수렴 속도를 O(1/∑ηₖ)에서 O(1/(∑√ηₖ)²)로 향상시키는 새로운 가속화 Bregman 프락시멀 포인트 방법을 개발하는 것.
• 원본 및 이중 목표 함수 양쪽에 대해 향상된 수렴 속도를 달성하는 가속화 BALM를 구축하는 것.
• 기존의 가속화 ALM 변형에서 이중 수렴과 원본 수렴 속도 간의 괴리 원인을 명확히 하는 것.
• Güler의 2번째 가속화 계획이 원본 수렴을 O(1/T) 이하로 향상시키지 못함을 보여주는 반례를 제시하는 것.

제안 방법

• 수렴 속도가 O(1/(∑√ηₖ)²)인 새로운 가속화 Bregman 프락시멀 포인트 방법을 개발하여 기존의 표준 수렴 속도인 O(1/∑ηₖ)를 향상시킴.
• 선형 제약 조건을 가진 볼록 프로그래밍의 라그랑주 이중 문제에 가속화 프락시멀 포인트 방법을 적용함.
• 원본 수렴 성능을 비교하기 위해 Nesterov의 가속화 이중 평균화 방법을 기준으로 삼음.
• 가속화 ALM의 세 가지 변형을 유도하고 분석함: Güler의 1번째 및 2번째 계획, Nesterov의 이중 평균화 방법.
• 간단한 선형 프로그래밍 문제를 이용한 반례를 제시하여, Güler의 2번째 계획이 이중 수렴은 O(1/T²)를 달성하지만 원본 수렴 속도는 O(1/T)에 머무름을 입증함.
• 이중 문제 수렴 가속화의 맥락에서 Nesterov의 이중 평균화 방법과 Güler의 1번째 가속화 프락시멀 포인트 방법 간의 등가성을 수립함.

실험 결과

연구 질문

• RQ1 원본 및 이중 목표 함수에 대해 모두 O(1/T) 수준을 초월하는 BALM의 수렴 속도 향상가능한가?
• RQ2 가속화된 Bregman 프락시멀 포인트 방법에서 근사 매개변수 수열 {ηₖ}과 수렴 속도 간의 관계는 무엇인가?
• RQ3 기존의 가속화 ALM 변형들은 이중 수렴을 가속화했음에도 불구하고 왜 원본 수렴 속도를 O(1/T²)로 향상시키지 못하는가?
• RQ4 선형 제약 조건을 가진 볼록 프로그래밍에서 원본 및 이중 목표 함수에 대해 동시에 O(1/T²) 수렴을 달성하는 방법이 존재하는가?
• RQ5 가속화 계획의 선택(예: Güler의 1번째 vs. 2번째, Nesterov의 이중 평균화)이 원본 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 가속화된 Bregman 프락시멀 포인트 방법은 O(1/(∑√ηₖ)²)의 수렴 속도를 달성하여 기존의 표준 수렴 속도인 O(1/∑ηₖ)를 향상시킴.
• 선형 프로그래밍 문제에서는 이중 목표 함수가 O(1/T²)로 수렴하지만, 원본 목표 함수와 제약 위반률은 이중 수렴 가속화에도 불구하고 여전히 O(1/T) 수준에 머무름.
• Güler의 2번째 가속화 계획이 이중 문제에 적용되더라도 원본 수렴 속도는 O(1/T) 이하로 향상되지 않으며, 반례를 통해 이를 입증함.
• Nesterov의 가속화 이중 평균화 방법은 등차 제약 조건이 있는 선형 문제에서 O(1/T²)의 원본 수렴을 달성하여 이중 수렴 속도와 일치함.
• 부록에서 Nesterov의 이중 평균화 방법과 Güler의 1번째 가속화 프락시멀 포인트 방법 간의 등가성을 공식적으로 증명함.
• 이중 문제의 가속화가 반드시 원본 문제의 가속화를 의미하지는 않으며, 이는 수렴 행동에 있어 중요한 차이를 드러냄.