[논문 리뷰] First-order methods for constrained convex programming based on linearized augmented Lagrangian function

Yangyang Xu|arXiv (Cornell University)|2017. 11. 21.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 18

한 줄 요약

이 논문은 선형화된 보조 라그랑주 함수를 사용하여 약식 등차 등식 및 부드러운 비선형 부등식 제약 조건을 가진 제약 조건이 있는 볼록 최적화 문제를 해결하기 위한 두 가지 1차 방법을 제안한다. 이 방법들은 전역적인 하향 수렴과 국소적인 선형 수렴을 달성하며, 한 방법은 단일 프록시멀 그래디언트 단계를 사용하고 다른 방법은 블록 좌표 갱신을 활용하며, 수치 실험에서 기존 방법들을 능가한다.

ABSTRACT

First-order methods have been popularly used for solving large-scale problems. However, many existing works only consider unconstrained problems or those with simple constraint. In this paper, we develop two first-order methods for constrained convex programs, for which the constraint set is represented by affine equations and smooth nonlinear inequalities. Both methods are based on the classic augmented Lagrangian function. They update the multipliers in the same way as the augmented Lagrangian method (ALM) but employ different primal variable updates. The first method, at each iteration, performs a single proximal gradient step to the primal variable, and the second method is a block update version of the first one. For the first method, we establish its global iterate convergence as well as global sublinear and local linear convergence, and for the second method, we show a global sublinear convergence result in expectation. Numerical experiments are carried out on the basis pursuit denoising and a convex quadratically constrained quadratic program to show the empirical performance of the proposed methods. Their numerical behaviors closely match the established theoretical results.

연구 동기 및 목표

• 선형 등식 제약 조건과 부드러운 비선형 부등식 제약 조건을 모두 가진 제약 조건이 있는 볼록 최적화 문제를 위한 효율적인 1차 방법을 개발하기 위해.
• 1차 방법의 적용 가능 범위를 단순하거나 선형 제약 조건을 넘어서 일반적인 비선형 제약 조건이 있는 문제로 확장하기 위해.
• 약한 가정 하에 제안된 방법에 대한 전역 수렴과 반복 복잡도 보장을 수립하기 위해.
• 문제의 구조를 활용하여 실증 성능을 향상시키기 위한 블록 갱신 변형을 설계하기 위해.
• 기저 추론 노이즈 제거 및 이차 제약 조건이 있는 이차 프로그래밍 문제에 대한 수치 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 해당 방법은 원래 문제를 근사하기 위해 선형화된 보조 라그랑주 함수를 사용하며, 이는 하위 문제의 효율적 해법을 가능하게 한다.
• 각 반복 단계에서, 선형화된 보조 라그랑주 함수를 최소화하기 위해 단일 프록시멀 그래디언트 단계를 통해 원시 변수를 갱신한다.
• 이중 변수(승수)는 고전적인 ALM과 유사하게 보조 라그랑주 함수에 대해 경사 상승 단계를 사용하여 갱신된다.
• 좌표 친화적인 구조를 가진 문제에 대해 블록 좌표 갱신 변형을 제안하며, 변수를 블록 단위로 갱신하여 수렴 속도를 향상시킨다.
• 벌점 매개변수 β는 고정되며, 이중 단계 크기는 안정성과 수렴성을 확보하기 위해 β에 비례하도록 설정된다.
• 알고리즘은 부드러운 함수의 그래디언트 정보와 비부드러운 항목의 프록시멀 매핑만을 기반으로 하여, 각 반복의 비용을 낮게 유지한다.

실험 결과

연구 질문

• RQ1 1차 방법은 선형 또는 단순한 제약 조건을 넘어서 일반적인 비선형 제약 조건이 있는 볼록 최적화 문제로 효과적으로 확장될 수 있는가?
• RQ2 원시 하위 문제를 근사적으로 해결하는 1차 방법에 대해 선형화된 보조 라그랑주 함수 기반으로 어떤 수렴 보장을 확보할 수 있는가?
• RQ3 선형화된 ALM 프레임워크 내에서 블록 좌표 갱신 전략이 실질적으로 수렴 행동을 향상시키는가?
• RQ4 기본적인 가정 하에 이러한 방법에 대해 전역 하향 수렴과 국소 선형 수렴을 이론적으로 증명할 수 있는가?
• RQ5 실제 문제에 대해 제안된 방법들이 기존의 1차 원시-이중 및 비정확한 ALM 방법들과 수치적으로 어떻게 비교되는가?

주요 결과

• 제안된 단일 프록시멀 단계 방법은 전역 반복 수렴과 전역 하향 수렴을 달성하며, 수렴 속도는 O(1/k)로 이론적 예측과 일치한다.
• 반복점이 최적 해의 이웃 영역에 진입할 경우, 단일 프록시멀 단계 방법에 대해 국소 선형 수렴이 확립된다.
• 블록 갱신 변형은 기대값 기반 전역 하향 수렴을 달성하며, 실질적으로 더 빠른 비에르고딕 수렴이 관찰된다.
• 기저 추론 노이즈 제거 및 QCQP 문제에 대한 수치 결과에서, 두 방법 모두 PD-YN 원시-이중 방법을 능가하며 최적에 가까이 갈수록 선형 수렴을 보인다.
• 에르고딕 반복 수렴 속도는 정확히 O(1/k)로 측정되어 이론적 하향 수렴 속도를 확인한다.
• BLALM 변형은 특히 비에르고딕 수렴에서 LALM에 비해 뛰어난 성능을 보이며, 블록 갱신 덕분에 국소 수렴 속도가 향상된다.