[논문 리뷰] Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function and a full Lagrange multiplier update

Jefferson G. Melo, Renato D. C. Monteiro외 1명|arXiv (Cornell University)|2020. 08. 02.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 7

한 줄 요약

이 논문은 선형 제약 조건을 가진 부드러운 비볼록 복합 최적화 문제를 해결하기 위해 고전적 보조라그랑주 함수를 기반으로 한 내부 가속된 비정확한 프록시멀 보조라그랑주(IAIPAL) 방법을 제안한다. 이 방법은 초기점이 타당할 필요가 없으며, 정확도 허용오차 $\rho > 0$로 근사 정적해를 확보하기 위해 $\mathcal{O}(\rho^{-3})$ ACG 반복을 달성한다(로그함수 항을 제외한 수준).

ABSTRACT

This paper establishes the iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian (IAIPAL) method for solving linearly-constrained smooth nonconvex composite optimization problems that is based on the classical augmented Lagrangian (AL) function. More specifically, each IAIPAL iteration consists of inexactly solving a proximal AL subproblem by an accelerated composite gradient (ACG) method followed by a classical Lagrange multiplier update. Under the assumption that the domain of the composite function is bounded and the problem has a Slater point, it is shown that IAIPAL generates an approximate stationary solution in ${\cal O}( ho^{-3})$ ACG iterations (up to a logarithmic term) where $ ho>0$ is the tolerance for both stationarity and feasibility. Moreover, the above bound is derived without assuming that the initial point is feasible. Finally, numerical results are presented to demonstrate the strong practical performance of IAIPAL.

연구 동기 및 목표

• 선형 제약 조건이 있는 부드러운 비볼록 복합 최적화 문제를 효율적으로 해결하기 위한 알고리즘을 개발하는 것.
• 약한 가정 하에 비정확한 프록시멀 보조라그랑주 방법의 반복 복잡도 한계를 설정하는 것.
• 초기점이 타당할 필요가 없도록 제거하여 실용적 적용성을 향상시키는 것.
• 보조라그랑주 프레임워크 내에서 가속된 복합 경사하강법의 수렴 행동을 분석하는 것.
• 수치 실험을 통해 강력한 실용적 성능을 보여주는 것.

제안 방법

• 이 방법은 비볼록 최적화 문제를 해결하기 위해 고전적 보조라그랑주 함수를 기초로 사용한다.
• 각 반복 단계에서는 가속된 복합 경사하강(ACG) 방법을 사용하여 프록시멀 보조라그랑주 하위문제를 비정확하게 해결한다.
• 하위문제 해를 얻은 후에는 전체 라그랑주 승수를 갱신하여 고전적 AL 이론과 일관성을 확보한다.
• ACG 방법은 정확도를 제어하는 허용오차 파라미터 $\rho > 0$로 비정확성을 조절하며, 정확성과 효율성의 균형을 이룬다.
• 초기 반복점이 타당할 필요가 없어지므로 강인성이 향상된다.
• 프록시멀 정규화는 하위문제의 잘 정의됨과 유한 도메인 가정 하에 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 비볼록 문제에 대해 가속 경사 하강 단계를 포함한 비정확한 프록시멀 보조라그랑주 방법의 반복 복잡도는 무엇인가?
• RQ2 초기점이 타당할 필요 없이도 방법이 수렴할 수 있는가?
• RQ3 정류성과 타당성에 대한 허용오차 $\rho$에 대해 복잡도는 어떻게 척도화되는가?
• RQ4 완전한 라그랑주 승수 갱신이 방법의 수렴 행동에 어떤 역할을 하는가?
• RQ5 기존 방법들과 비교해 실용적으로 어떻게 성능을 발휘하는가?

주요 결과

• IAIPAL 방법은 정확도 허용오차 $\rho > 0$로 근사 정적해를 확보하기 위해 $\mathcal{O}(\rho^{-3})$ ACG 반복을 달성한다(로그함수 인자까지 포함한 수준).
• 초기점이 타당하지 않더라도 복잡도 한계가 유지되어 실용적 강인성이 향상된다.
• 분석은 복합 함수의 유계 도메인과 슬레이터 점의 존재를 가정하며, 강력한 이중성 조건을 보장한다.
• 이 방법은 고전적 보조라그랑주 함수를 사용하고 각 반복에서 전체 라그랑주 승수 갱신을 수행한다.
• 수치 결과는 강력한 실용적 성능을 보이며, 실제 응용에서의 효율성을 시사한다.
• 하위문제의 정확한 해를 가정하지 않기 때문에, 비정확하고 실용적인 구현에 적합하다.