[논문 리뷰] Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems

Jefferson G. Melo, Renato D. C. Monteiro외 1명|arXiv (Cornell University)|2020. 06. 14.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 12

한 줄 요약

이 논문은 선형 제약 조건을 가진 매끄럽고 비볼록 복합 최적화 문제를 해결하기 위해 비정확한 프락시멀 가속화된 오메가 라그랑주 (IPAAL) 방법을 제안한다. 이 방법은 하위 문제를 해결하는 데 가속 복합 경사법 (ACG) 을 사용하고, 적응형 페널티 파라미터 갱신을 통합하여 일반적인 경우에 $\/mathcal{O}(\log(1/\rho)/\rho^3)$, 더 강한 가정 하에 $\/mathcal{O}(\log(1/\rho)/\rho^{2.5})$ 의 반복 복잡도를 달성하며, 유계 도메인이나 초기 타당성의 필요 없이 작동한다.

ABSTRACT

This paper proposes and establishes the iteration-complexity of an inexact proximal accelerated augmented Lagrangian (IPAAL) method for solving linearly constrained smooth nonconvex composite optimization problems. Each IPAAL iteration consists of inexactly solving a proximal augmented Lagrangian subproblem by an accelerated composite gradient (ACG) method followed by a suitable Lagrange multiplier update. It is shown that IPAAL generates an approximate stationary solution in at most ${\cal O}(\log(1/ρ)/ρ^{3})$ ACG iterations, where $ρ>0$ is the given tolerance. It is also shown that the previous complexity bound can be sharpened to ${\cal O}(\log(1/ρ)/ρ^{2.5})$ under additional mildly stronger assumptions. The above bounds are derived assuming that the initial point is neither feasible nor the domain of the composite term of the objective function is bounded. Some preliminary numerical results are presented to illustrate the performance of the IPAAL method.

연구 동기 및 목표

• 선형 제약 조건을 가진 매끄럽고 비볼록 복합 최적화 문제를 위한 비정확한 프락시멀 가속화된 오메가 라그랑주 방법을 개발하기.
• 최소한의 가정 하에 이 방법의 반복 복잡도 경계를 설정하기, 특히 초기 점이 타당할 필요 없이 도메인이 유계일 필요가 없다는 점을 포함하여.
• 가속화된 일阶 방법과 동적 페널티 파라미터 갱신을 활용하여 수렴 보장을 향상시키기.
• 유사한 추가 가정 하에 날카운 복잡도 경계를 제공하기, 예를 들어 타당 집합의 내부가 비어 있지 않으며, 페널티 함수의 수준 집합이 유계일 경우.

제안 방법

• 표준 오메가 라그랑주 함수와 제곱 페널티 함수를 일반화하는 θ-오메가 라그랑주 함수를 사용한다.
• 각 반복에서, $\/tau \in (0,1)$ 에 대해 $\lambda = \tau/m$ 인 스텝 사이즈를 사용하는 가속 복합 경사법 (ACG) 을 통해 근사적으로 프락시멀 하위 문제를 해결한다.
• 라그랑주 승수는 $p_k = (1 - \theta)p_{k-1} + c(Az_k - b)$ 를 통해 갱신되며, 이는 이중 스텝 사이즈 일致성을 보장한다.
• 비타당성 초과 시 허용 오차를 초과하면 페널티 파라미터 $c$ 를 두 배로 늘리는 동적 페널티 파라미터 전략을 통해 수렴이 근사 타당해진 해로 이어지도록 보장한다.
• 반복 해를 정밀화하여 정류된 삼중 $(\hat{z}, \hat{v}, \hat{p})$ 를 생성하여 정류성과 타당성 조건을 모두 충족시킨다.
• 오차 경계와 $\varepsilon$-서브디퍼렌셜, 강한 볼록성의 성질을 활용한 정밀 분석을 통해 복잡도 경계를 수립한다.

실험 결과

연구 질문

• RQ1 선형 제약 조건이 있는 비볼록 복합 문제에 대한 비정확한 프락시멀 가속화된 오메가 라그랑주 방법의 반복 복잡도는 무엇인가?
• RQ2 타당 집합의 내부가 비어 있지 않으며, 페널티 함수의 수준 집합이 유계일 경우와 같은 약간 더 강한 가정 하에 복잡도 경계를 개선할 수 있는가?
• RQ3 동적 페널티 파라미터 갱신 전략은 전체 수렴 속도와 복잡도에 어떤 영향을 미치는가?
• RQ4 시작 점의 도메인이 유계이거나 초기 타당성이 보장되지 않더라도 방법이 수렴할 수 있는가?
• RQ5 θ-오메가 라그랑주 함수는 이중 및 원천 진전을 균형 있게 조절하는 데 어떤 역할을 하는가?

주요 결과

• IPAAL 방법은 $\rho$-근사 정류해를 찾기 위해 $\mathcal{O}(\log(1/\rho)/\rho^3)$ 개의 ACG 반복을 달성한다.
• 약간 더 강한 가정 하에 복잡도는 $\mathcal{O}(\log(1/\rho)/\rho^{2.5})$ 로 향상되며, 이는 향상된 수렴 행동을 반영한다.
• 이 방법은 정밀화된 반복 해 $\hat{z}_k$ 가 $\|A\hat{z}_k - b\| = \mathcal{O}(1/\sqrt{c})$ 를 만족함을 보장하여, $c$ 가 클 경우 근사 타당성을 확보한다.
• 동적 페널티 파라미터 전략은 총 ACG 반복 횟수가 $\mathcal{O}((1/\hat{\eta}\hat{\rho}^2)\log(1/\hat{\eta}))$ 가 되도록 보장한다. 여기서 $\hat{\rho}, \hat{\eta}$ 는 허용 오차이다.
• 초기 점이 타당하거나 복합 항의 도메인이 유계일 필요 없이 분석이 성립한다.
• ε-서브디퍼렌셜과 오차 경계 기법을 활용함으로써, 강한 볼록성이나 유계 도메인이 없더라도 방법은 견고하고 효과적이다.