[논문 리뷰] Proximal Point Methods for Optimization with Nonconvex Functional Constraints.

Digvijay Boob, Qi Deng외 1명|arXiv (Cornell University)|2019. 08. 07.

Optimization and Variational Analysis인용 수 4

한 줄 요약

이 논문은 비볼록 함수 제약 조건을 가진 비볼록 최적화를 위한 새로운 프록시멀 포인트 방법을 제안하며, 문제를 볼록 부분문제의 순서로 변환한다. 적절한 조건 하에서 $O(1/ε)$ 반복 안에 $ε$-KKT 점으로 수렴함을 보이며, 비정확한 변형에서도 수렴 속도가 유지된다.

ABSTRACT

Nonconvex optimization is becoming more and more important in machine learning and operations research. In spite of recent progresses, the development of provably efficient algorithm for optimization with nonconvex functional constraints remains open. Such problems have potential applications in risk-averse machine learning, semisupervised learning and robust optimization among others. In this paper, we introduce a new proximal point type method for solving this important class of nonconvex problems by transforming them into a sequence of convex constrained subproblems. We establish the convergence and rate of convergence of this algorithm to the KKT point under different types of constraint qualifications. In particular, we prove that our algorithm will converge to an $\epsilon$-KKT point in $O(1/\epsilon)$ iterations under a properly defined condition. For practical use, we present inexact variants of this approach, in which approximate solutions of the subproblems are computed by either primal or primal-dual type algorithms, and establish their associated rate of convergence. To the best of our knowledge, this is the first time that proximal point type method is developed for nonlinear programing with nonconvex functional constraints, and most of the convergence and complexity results seem to be new in the literature.

연구 동기 및 목표

• 비볼록 함수 제약 조건이 있는 비볼록 최적화를 위한 증명 가능하게 효율적인 알고리즘의 부족을 해결한다.
• 비볼록 문제를 볼록 부분문제의 순서로 변환하는 프레임워크를 개발한다.
• 다양한 제약 조건 충족 조건 하에서 KKT 점으로의 수렴을 확보한다.
• 정확한 및 비정확한 알고리즘 변형에 대한 복잡도 한계와 속도 분석을 제공한다.
• 비볼록 제약 조건이 있는 비선형 프로그래밍에 프록시멀 포인트 방법을 확장하여 문헌에서의 격차를 메운다.

제안 방법

• 원래의 비볼록 문제에서 유도된 볼록 부분문제를 반복적으로 해결하는 프록시멀 포인트 유형 알고리즘을 제안한다.
• 정규화 항을 사용하여 부분문제의 해를 안정화하고 수렴을 보장한다.
• 제약 조건 충족 조건을 적용하여 KKT 점으로의 이론적 수렴 보장을 확립한다.
• 부분문제를 원천 또는 원천-이중 알고리즘을 사용해 근사적으로 해결하는 비정확한 변형을 도입한다.
• 부분문제 정확도를 제한하여 비정확한 변형의 수렴 속도를 확보한다.
• 프록시멀 정규화를 활용하여 비볼록성을 다루고 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비볼록 함수 제약 조건이 있는 비선형 프로그램에 대해 프록시멀 포인트 방법을 효과적으로 적용할 수 있는가?
• RQ2 다양한 제약 조건 충족 조건 하에서 이러한 방법에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ3 이 설정에서 $ε$-KKT 점을 달성하기 위한 반복 복잡도는 얼마인가?
• RQ4 부분문제의 비정확한 해가 전체 수렴 속도와 복잡도에 어떤 영향을 미치는가?
• RQ5 이러한 비볼록 최적화 문제의 클래스에 대해 새로운 이론적 결과가 존재하는가?

주요 결과

• 적절히 정의된 제약 조건 충족 조건 하에서 제안된 알고리즘이 $O(1/ε)$ 반복 안에 $ε$-KKT 점으로 수렴한다.
• 이 방법은 비볼록 문제를 볼록 부분문제의 순서로 변환하여 안정적이고 수렴 가능한 최적화를 가능하게 한다.
• 부분문제가 충분한 정확도로 해결될 경우, 비정확한 변형도 동일한 $O(1/ε)$ 수렴 속도를 유지한다.
• 다양한 유형의 제약 조건 충족 조건 하에서 KKT 점으로의 이론적 수렴이 확립된다.
• 지식 범위 내에서 이는 비볼록 함수 제약 조건이 있는 비선형 프로그램을 위한 첫 번째 프록시멀 포인트 방법이다.
• 제시된 대부분의 수렴 및 복잡도 결과는 이 문제 유형에 대해 문헌상 새로움을 나타낸다.