[논문 리뷰] Global convergence rates of augmented Lagrangian methods for constrained convex programming.

Yangyang Xu|arXiv (Cornell University)|2017. 11. 15.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 11

한 줄 요약

이 논문은 비선형 부등식 제약 조건을 가진 볼록 프로그래밍에서 보완 라그랑주 방법(ARL)의 전역 수렴 속도를 확립하며, 정확한 하위문제 해를 가정할 경우 O(1/k)의 에르고딕 수렴 속도를 증명하고, 수렴 가능한 오차가 있는 비정확한 변형으로 확장한다. 또한, 하위문제에 네스테로프의 최적의 일阶 방법을 사용할 경우 ε-최적 해를 구하기 위해 O(ε^(-3/2−δ))의 기울기 평가 횟수를 필요로 하며, 부드러운 문제에서는 프록시멀 정규화를 통해 복잡도를 O(ε^(-1)|log ε|)로 향상시킨다.

ABSTRACT

Augmented Lagrangian method (ALM) has been popularly used for solving constrained optimization problems. Its convergence and local convergence speed have been extensively studied. However, its global convergence rate is still open for problems with nonlinear inequality constraints. In this paper, we work on general constrained convex programs. For these problems, we establish the global convergence rate of ALM and its inexact variants. We first assume exact solution to each subproblem in the ALM framework and establish an $O(1/k)$ ergodic convergence result, where $k$ is the number of iterations. Then we analyze an inexact ALM that approximately solves the subproblems. Assuming summable errors, we prove that the inexact ALM also enjoys $O(1/k)$ convergence if smaller stepsizes are used in the multiplier updates. Furthermore, we apply the inexact ALM to a constrained composite convex problem with each subproblem solved by Nesterov's optimal first-order method. We show that $O(\varepsilon^{-\frac{3}{2}-\delta})$ gradient evaluations are sufficient to guarantee an $\varepsilon$-optimal solution in terms of both primal objective and feasibility violation, where $\delta$ is an arbitrary positive number. Finally, for constrained smooth problems, we modify the inexact ALM by adding a proximal term to each subproblem and improve the iteration complexity to $O(\varepsilon^{-1}|\log\varepsilon|)$.

연구 동기 및 목표

• 비선형 부등식 제약 조건을 가진 볼록 프로그래밍에 대해 보완 라그랑주 방법(ARL)의 전역 수렴 속도에 대한 이해 격차를 메우기 위해.
• 하위문제를 수렴 가능한 오차로 근사적으로 푸는 비정확한 ALM 변형을 분석하기 위해.
• 목적 함수 값과 타당성 위반도 측정 기준으로 삼아, ε-최적 해를 얻기 위한 반복 복잡도의 경계를 유도하기 위해.
• 부드러운 제약 조건이 있는 문제에서 하위문제에 프록시멀 항을 포함시켜 수렴 속도를 향상시키기 위해.

제안 방법

• 논문은 일반 볼록 프로그래밍에서 하위문제를 정확히 풀었을 경우 ALM의 O(1/k) 에르고딕 수렴 속도를 확립한다.
• 오차가 수렴 가능한 조건을 만족하고 보다 작은 스텝 사이즈를 사용할 경우, 하위문제 해에 오차가 있는 비정확한 ALM 변형을 도입한다.
• 각 하위문제를 해결하기 위해 네스테로프의 최적의 일阶 방법을 적용하여 기울기 복잡도 분석이 가능하도록 한다.
• 부드러운 문제의 경우, 수렴 속도를 높이기 위해 각 하위문제에 프록시멀 항을 추가한다.
• 분석은 에르고딕 수렴 수열과 수렴 가능한 오차 가정을 통한 오차 누적 제어에 기반한다.
• 이론적 경계는 보완 라그랑주 공식화의 이중성 및 수렴 성질을 이용하여 도출된다.

실험 결과

연구 질문

• RQ1 비선형 부등식 제약 조건을 가진 일반 볼록 프로그래밍에 대해 보완 라그랑주 방법의 전역 수렴 속도는 무엇인가?
• RQ2 하위문제를 수렴 가능한 오차로 근사적으로 풀었을 경우 O(1/k) 수렴 속도가 유지되는가?
• RQ3 하위문제를 네스테로프의 최적의 일阶 방법으로 풀었을 경우 비정확한 ALM의 반복 복잡도는 어떻게 되는가?
• RQ4 하위문제에 프록시멀 항을 추가하면 부드러운 제약 조건이 있는 볼록 프로그래밍의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 ε-최적성에 도달하기 위해 O(ε^(-3/2−δ))를 초월하는 반복 복잡도를 개선할 수 있는가?

주요 결과

• 정확한 ALM는 일반 제약 조건이 있는 볼록 프로그래밍에서 O(1/k)의 에르고딕 수렴 속도를 달성한다.
• 수렴 가능한 오차와 더 작은 스텝 사이즈를 사용할 경우 비정확한 ALM도 여전히 O(1/k)의 수렴 속도를 유지한다.
• 하위문제를 네스테로프의 최적의 일阶 방법으로 풀 경우, ε-최적 해를 얻기 위해 O(ε^(-3/2−δ))의 기울기 평가 횟수가 필요하다.
• 부드러운 문제의 경우, 하위문제에 프록시멀 항을 추가함으로써 반복 복잡도를 O(ε^(-1)|log ε|)로 감소시킬 수 있다.
• 수렴 결과는 원천 목적 함수 값과 타당성 위반도 모두에 적용되며, 둘 다 ε-최적성을 보장한다.
• 분석은 비정확한 ALM에서 오차 누적이 발생할 경우 더 작은 스텝 사이즈가 수렴 속도 유지에 필수적임을 확인한다.