[논문 리뷰] Accelerated first-order primal-dual proximal methods for linearly constrained composite convex programming

Yangyang Xu|arXiv (Cornell University)|2016. 06. 29.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 선형 제약 조건이 붙은 복합 볼록 최적화 문제를 위한 두 가지 가속된 1차 원-이중 방법—가속된 선형화된 보조 라그랑주 곱법(LALM)과 가속된 선형화된 ADMM(LADMM)—을 제안한다. 부드러운 항과 보조 라그랑주 항의 선형화를 적응형 매개변수 선택과 결합함으로써, 약한 또는 강한 볼록성 가정 하에 O(1/t²) 수렴 속도를 달성하며, 비가속화 및 기존의 가속화 방법보다 수렴 속도를 크게 향상시킨다.

ABSTRACT

Motivated by big data applications, first-order methods have been extremely popular in recent years. However, naive gradient methods generally converge slowly. Hence, much efforts have been made to accelerate various first-order methods. This paper proposes two accelerated methods towards solving structured linearly constrained convex programming, for which we assume composite convex objective. The first method is the accelerated linearized augmented Lagrangian method (LALM). At each update to the primal variable, it allows linearization to the differentiable function and also the augmented term, and thus it enables easy subproblems. Assuming merely weak convexity, we show that LALM owns $O(1/t)$ convergence if parameters are kept fixed during all the iterations and can be accelerated to $O(1/t^2)$ if the parameters are adapted, where $t$ is the number of total iterations. The second method is the accelerated linearized alternating direction method of multipliers (LADMM). In addition to the composite convexity, it further assumes two-block structure on the objective. Different from classic ADMM, our method allows linearization to the objective and also augmented term to make the update simple. Assuming strong convexity on one block variable, we show that LADMM also enjoys $O(1/t^2)$ convergence with adaptive parameters. This result is a significant improvement over that in [Goldstein et. al, SIIMS'14], which requires strong convexity on both block variables and no linearization to the objective or augmented term. Numerical experiments are performed on quadratic programming, image denoising, and support vector machine. The proposed accelerated methods are compared to nonaccelerated ones and also existing accelerated methods. The results demonstrate the validness of acceleration and superior performance of the proposed methods over existing ones.

연구 동기 및 목표

• 대규모 볼록 최적화에서 1차 방법의 느린 수렴 문제를 해결하기 위해.
• 부드럽고 비부드러운 볼록 함수의 합으로 이루어진 목적함수를 갖는 선형 제약 조건이 붙은 복합 볼록 프로그래밍을 위한 효율적인 알고리즘을 개발하기 위해.
• 원-이중 방법에서 선형화 기법과 적응형 매개변수 선택을 융합하여 더 빠른 수렴 속도를 달성하기 위해.
• 기존의 가속화 방법을 확장하여 부드러운 목표함수와 보조 라그랑주 항 양쪽 모두에 선형화를 허용함으로써 하위문제의 해를 단순화하기 위해.

제안 방법

• 부드러운 함수 f와 하위문제 내 보조 라그랑주 항 양쪽을 선형화하여 닫힌 형태의 갱신을 가능하게 하는 가속된 선형화된 보조 라그랑주 곱법(LALM)을 도입한다.
• 세 점 수열(x^k, x̂^k, x̄^k)과 적응형 매개변수(α_k, β_k, γ_k, P^k)를 사용하여 표준 O(1/t) 수렴 속도를 초월하는 수렴 가속을 달성한다.
• 두 블록으로 구성된 문제를 위한 가속된 선형화된 ADMM(LADMM)를 제안하며, 목적함수와 보조 항 양쪽에 선형화를 허용하여 하위문제를 단순화한다.
• 하위문제 갱신의 안정성과 가속성을 높이기 위해 양의 준정의 행렬 P^k을 갖는 프록시멀 항을 사용한다.
• 반복 과정에서 매개변수를 적응적으로 조정함(예: β_k ∝ (k+1)/||B||²)으로써, 한 블록 변수에 대해 강한 볼록성을 가정할 경우 O(1/t²) 수렴을 달성한다.
• 이 방법들을 이차계획법, 이미지 노이즈 제거, 서포트 벡터 머신에 적용하여 실용적 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 원-이중 방법에서 부드러운 목표함수와 보조 라그랑주 항 양쪽을 선형화하면서도 여전히 O(1/t²) 수렴을 달성할 수 있는가?
• RQ2 선형화된 보조 라그랑주 프레임워크 내에서 적응형 매개변수 선택이 고정 매개변수 방법보다 더 빠른 수렴을 이끌 수 있는가?
• RQ3 LALM 방법에서 두 블록 모두에 강한 볼록성이 요구되지 않는 약한 볼록성 조건 하에서도 O(1/t²) 수렴을 달성할 수 있는가?
• RQ4 제안된 가속된 LADMM는 고전적 ADMM와 비가속화된 선형화된 ADMM에 비해 수렴 속도와 해의 정확도 측면에서 어떻게 비교되는가?
• RQ5 제안된 가속화 기법은 서포트 벡터 머신, 이미지 노이즈 제거, 이차계획법 등 다양한 응용 분야에서 안정적이고 효과적인가?

주요 결과

• 가속된 선형화된 ALM는 고정 매개변수를 사용하는 표준 O(1/t) 수렴 속도에 비해 약한 볼록성 조건 하에서도 O(1/t²) 수렴 속도를 달성하여 뚜렷한 향상을 이룬다.
• 가속된 LADMM는 한 블록 변수에 대해 강한 볼록성을 가정할 경우 O(1/t²) 수렴을 달성하며, 기존 방법이 양쪽 블록에 강한 볼록성이 필요로 하는 것에 비해 뛰어난 성능을 보인다.
• 수치 실험 결과, 이차계획법, 이미지 노이즈 제거, SVM 작업에서 비가속화된 대비 및 기존의 가속화된 방법보다 가속된 방법이 훨씬 더 신속하게 수렴하는 것으로 나타났다.
• 적응형 매개변수 전략(예: β_k ∝ (k+1))은 특히 초기 반복 단계에서 고정 매개변수 설정보다 더 빠른 수렴을 가능하게 한다.
• 부드러운 항과 보조 항 양쪽의 선형화는 하위문제를 단순화하고, g가 간단한 경우(예: ℓ₁-노름 또는 지시 함수)에 닫힌 형태의 해를 가능하게 한다.
• SVM 실험에서, 가속된 선형화된 ADMM는 비가속화된 선형화된 ADMM와 고전적 비선형화된 ADMM 모두를 초월하여 목표 함수 값과 타당성 측면에서 뛰어난 성능을 보였다.