[논문 리뷰] An Inexact Augmented Lagrangian Framework for Nonconvex Optimization with Nonlinear Constraints

Mehmet Fatih Sahin, Armin Eftekhari외 3명|arXiv (Cornell University)|2019. 06. 26.

Sparse and Compressive Sensing Techniques참고 문헌 61인용 수 19

한 줄 요약

이 논문은 비볼록 최적화 문제에 비선형 제약 조건이 있는 경우에 대해, 부분 문제를 근사적으로 해결하는 방법을 사용하는 비정확한 증강 라그랑주 방법(iALM)을 제안한다. 이는 1차 정류점에 대해 총 반복 복잡도 $ ilde{/mathcal{O}}(1/ au^4)$, 2차 정류점에 대해 $ ilde{/mathcal{O}}(1/ au^5)$를 확립하며, 폴리악-로자이에프스키 및 망가시아르-프롬비츠 조건과 관련된 검증 가능한 기하 조건 하에서 알려진 이론적 경계와 일치한다.

ABSTRACT

We propose a practical inexact augmented Lagrangian method (iALM) for nonconvex problems with nonlinear constraints. We characterize the total computational complexity of our method subject to a verifiable geometric condition, which is closely related to the Polyak-Lojasiewicz and Mangasarian-Fromowitz conditions. In particular, when a first-order solver is used for the inner iterates, we prove that iALM finds a first-order stationary point with $ ilde{\mathcal{O}}(1/ε^4)$ calls to the first-order oracle. If, in addition, the problem is smooth and a second-order solver is used for the inner iterates, iALM finds a second-order stationary point with $ ilde{\mathcal{O}}(1/ε^5)$ calls to the second-order oracle, which matches the known theoretical complexity result in the literature. We also provide strong numerical evidence on large-scale machine learning problems, including the Burer-Monteiro factorization of semidefinite programs, and a novel nonconvex relaxation of the standard basis pursuit template. For these examples, we also show how to verify our geometric condition.

연구 동기 및 목표

• 비볼록 최적화에 비선형 제약 조건이 있는 실용적이고 이론적으로 타당한 비정확한 증강 라그랑주 방법(iALM)을 개발하는 것.
• 검증 가능한 기하 조건 하에서 iALM의 총 반복 복잡도 경계를 확립하며, 폴리악-로자이에프스키 및 망가시아르-프롬비츠 조건과 연결하는 것.
• Burer-Monteiro 행렬 분해와 기저 탐색의 비볼록 완화 문제를 포함한 대규모 머신러닝 문제에서 이 방법의 효율성을 입증하는 것.
• 핵심 문제들에 대해 기하 조건을 검증하고 iALM의 성능에 대한 수치적 증거를 제공하는 것.

제안 방법

• 내부 부분 문제를 1차 또는 2차 해법기로 근사적으로 해결하는 비정확한 증강 라그랑주 프레임워크를 제안한다.
• 수렴을 보장하고 분석을 단순화하는 기하 조건을 도입하며, 이는 폴리악-로자이에프스키 및 망가시아르-프롬비츠 조건과 관련된다.
• 내부 해법에 1차 오ракูล을 사용하여 1차 정류점에 대해 $\tilde{\mathcal{O}}(1/\epsilon^4)$의 복잡도를 달성한다.
• 내부 부분 문제에 2차 해법기를 사용하여 2차 정류점에 대해 $\tilde{\mathcal{O}}(1/\epsilon^5)$의 복잡도를 달성한다.
• 이 프레임워크를 정수형 프로그래밍의 Burer-Monteiro 분해와 기저 탐색의 비볼록 완화 문제에 적용한다.
• 부록에서 분석적 및 수치적 방법을 통해 특정 문제들에 대해 기하 조건을 검증한다.

실험 결과

연구 질문

• RQ1 비볼록 문제에 비선형 제약 조건이 있는 비정확한 증강 라그랑주 방법의 총 반복 복잡도는 무엇인가?
• RQ2 제안된 방법의 복잡도는 알려진 이론적 경계와 어떻게 비교되는가?
• RQ3 이 연구에서 도입된 기하 조건은 Burer-Monteiro 분해나 QAP와 같은 핵심 최적화 문제에 대해 검증될 수 있는가?
• RQ4 비정확한 부분 문제 해법을 사용할 때 iALM 프레임워크는 이론적 보장을 유지하는가?
• RQ5 이 방법은 대규모 머신러닝 문제에서 수치적으로 어떻게 성능을 발휘하는가?

주요 결과

• iALM는 1차 정류점을 찾기 위해 $\tilde{\mathcal{O}}(1/\epsilon^4)$의 1차 오라클 복잡도를 달성하며, 이는 이전에 $\tilde{\mathcal{O}}(1/\epsilon^3)$로 주장했던 오류를 수정한다.
• 2차 해법기를 사용할 경우, 2차 정류점에 대해 $\tilde{\mathcal{O}}(1/\epsilon^5)$의 복잡도를 달성하며, 알려진 이론적 결과와 일치한다.
• 제안된 기하 조건은 검증 가능하며, 폴리악-로자이에프스키 및 망가시아르-프롬비츠 조건과 같은 잘 알려진 최적성 조건과 연결된다.
• Burer-Monteiro 분해와 비볼록 기저 탐색 완화 문제에 대한 수치 실험은 뛰어난 성능과 타당성을 보여준다.
• 이 방법은 강건하고 미래 지향적이며, 외부 프레임워크를 변경하지 않고도 다양한 내부 해법기를 교체할 수 있다.
• 분석적 및 수치적 분석을 통해 핵심 문제들, 즉 정수형 프로그래밍과 이차 할당 문제에 대해 기하 조건이 성공적으로 검증되었다.