[논문 리뷰] Iteration complexity of inexact augmented Lagrangian methods for constrained convex programming

Yangyang Xu|arXiv (Cornell University)|2017. 11. 15.

Advanced Optimization Algorithms Research인용 수 10

한 줄 요약

이 논문은 등차 및 부등차 제약 조건을 가진 일반적인 볼록 프로그래밍을 위한 비정확 보조 라그랑주 방법(iALM)의 전역 수렴 속도와 반복 복잡도를 확립한다. 비정확 원본 하위문제에 네스테로프의 최적의 일차 방법을 적용하고, 에르고딕 및 비에르고딕 수렴을 분석함으로써, 저자들은 iALM이 볼록 목적 함수의 경우 O(ε⁻¹)의 기울기 평가 수를, 강한 볼록 목적 함수의 경우 O(ε⁻¹/²|log ε|)의 기울기 평가 수를 달성함을 보여주며, 반복 복잡도가 최적임을 증명한다.

ABSTRACT

Augmented Lagrangian method (ALM) has been popularly used for solving constrained optimization problems. Practically, subproblems for updating primal variables in the framework of ALM usually can only be solved inexactly. The convergence and local convergence speed of ALM have been extensively studied. However, the global convergence rate of inexact ALM is still open for problems with nonlinear inequality constraints. In this paper, we work on general convex programs with both equality and inequality constraints. For these problems, we establish the global convergence rate of inexact ALM and estimate its iteration complexity in terms of the number of gradient evaluations to produce a solution with a specified accuracy. We first establish an ergodic convergence rate result of inexact ALM that uses constant penalty parameters or geometrically increasing penalty parameters. Based on the convergence rate result, we apply Nesterov's optimal first-order method on each primal subproblem and estimate the iteration complexity of the inexact ALM. We show that if the objective is convex, then $O(\varepsilon^{-1})$ gradient evaluations are sufficient to guarantee an $\varepsilon$-optimal solution in terms of both primal objective and feasibility violation. If the objective is strongly convex, the result can be improved to $O(\varepsilon^{-\frac{1}{2}}|\log\varepsilon|)$. Finally, by relating to the inexact proximal point algorithm, we establish a nonergodic convergence rate result of inexact ALM that uses geometrically increasing penalty parameters. We show that the nonergodic iteration complexity result is in the same order as that for the ergodic result. Numerical experiments on quadratically constrained quadratic programming are conducted to compare the performance of the inexact ALM with different settings.

연구 동기 및 목표

• 비선형 부등차 제약 조건이 있는 볼록 프로그래밍을 위한 비정확 보조 라그랑주 방법(iALM)의 전역 수렴 속도에 대한 열린 문제를 해결하기 위해.
• 일반적인 볼록 프로그래밍 설정 하에서 iALM의 기울기 평가 수를 기준으로 한 반복 복잡도의 경계를 설정하기 위해.
• 기하급수적으로 증가하는 페널티 매개수를 가진 iALM의 에르고딕 및 비에르고딕 수렴 속도를 분석하기 위해.
• 유도된 반복 복잡도 경계가 볼록 및 강한 볼록 문제에 대해 최적임을 입증하기 위해.
• 이차 제약 조건이 있는 이차 프로그래밍에 대한 수치 실험을 통해 iALM의 성능을 다양한 페널티 갱신 전략과 오차 허용 범위 설정과 비교하기 위해.

제안 방법

• 논문은 각 원본 하위문제를 비정확하게 해결하기 위해 네스테로프의 최적의 일차 방법을 사용하는 iALM을 분석하여 효율적인 기울기 평가를 보장한다.
• 상수 또는 기하급수적으로 증가하는 페널티 매개수를 가진 iALM에 대해 에르고딕 수렴 속도를 확립하며, 수렴을 기울기 평가 수와 연결한다.
• iALM을 비정확한 프락시멀 점프 알고리즘과 연결함으로써 비에르고딕 수렴 속도를 유도하여, 에르고딕 케이스와 동일한 복잡도 순서를 얻는다.
• 분석은 복합 볼록 구조를 가정한다: f₀(x) = g(x) + h(x), 여기서 g는 리프시츠 미분 가능하고 h는 단순한 프락시멀 매핑을 가진다.
• 문제 데이터에 대한 부드러움과 유계성 가정을 포함하여, 기울기의 리프시츠 연속성과 도메인 직경 D의 유계성을 포함한다.
• 수치 실험은 이차 제약 조건이 있는 이차 프로그래밍에서 상수 페널티, 기하급수적으로 증가하는 페널티, 그리고 적응형 오차 허용 범위를 가진 iALM을 비교한다.

실험 결과

연구 질문

• RQ1 비선형 부등차 제약 조건이 있는 볼록 프로그래밍을 위한 비정확 보조 라그랑주 방법의 전역 수렴 속도는 무엇인가?
• RQ2 iALM의 반복 복잡도는 ε-최적 해를 달성하기 위해 기울기 평가 수로 어떻게 표현되는가?
• RQ3 iALM의 에르고딕 및 비에르고딕 수렴 속도가 반복 복잡도의 순서 수준에서 동일한지 여부는 무엇인가?
• RQ4 유도된 반복 복잡도 경계가 볼록 및 강한 볼록 문제에 대해 최적인지 여부는 무엇인가?
• RQ5 다양한 페널티 갱신 전략(상수 대비 기하급수적으로 증가하는 것)과 오차 허용 규칙이 iALM의 실용적 성능에 미치는 영향은 무엇인가?

주요 결과

• 볼록 목적 함수의 경우, iALM는 O(ε⁻¹)의 기울기 평가 수로 ε-최적 해를 달성하며, 이는 일차 방법 설정에서 최적이다.
• 강한 볼록 목적 함수의 경우, 반복 복잡도는 O(ε⁻¹/²|log ε|)로 향상되며, 문헌에서 알려진 최고의 결과와 일치하며, 최적임이 나타난다.
• 기하급수적으로 증가하는 페널티 매개수를 가진 iALM의 비에르고딕 수렴 속도는 순서 수준에서 에르고딕 수렴 속도와 일치하여, 다양한 수렴 유형에 대한 강건성을 확인한다.
• 이차 제약 조건이 있는 이차 프로그래밍에 대한 수치 결과는 기하급수적으로 증가하는 페널티와 적응형 오차 허용 범위가 상수 설정보다 더 빠른 수렴을 유도함을 보여준다.
• 에르고딕 수렴 속도는 비정확 하위문제에 네스테로프의 최적의 일차 방법을 사용하여 확립되었으며, 날카운 복잡도 경계를 가능하게 한다.
• 논문은 보조 이중 목적 함수의 전역 수렴 속도가 원본 목적 함수나 타당성 수렴 속도를 암시하지는 않음을 확인하였으며, 이는 원본 타당성과 목적 함수 갭을 직접 분석할 필요성을 정당화한다.