[논문 리뷰] Inexact Proximal-Point Penalty Methods for Constrained Non-Convex Optimization

Qihang Lin, Runchao Ma외 1명|arXiv (Cornell University)|2019. 08. 30.

Sparse and Compressive Sensing Techniques참고 문헌 83인용 수 13

한 줄 요약

이 논문은 비볼록 제약 최적화 문제를 위한 비정확한 프락시멀-포인트 페널티 방법(iPPP)을 제안한다. 이 방법은 프락시멀-포인트 기법과 이차 페널티 기법을 융합하여, 적응형 가속 경사하강법을 통해 하위 문제를 근사적으로 해결한다. 슬레이터 조건 하에서 볼록 제약 조건이 성립할 경우 복잡도 한계는 $\tilde{O}(\varepsilon^{-5/2})$이며, 비볼록 제약 조건이 성립할 경우 복잡도 한계는 $\tilde{O}(\varepsilon^{-3})$ 또는 $\tilde{O}(\varepsilon^{-4})$로, 비특이성 및 타당성 조건에 따라 달라진다.

ABSTRACT

In this paper, an inexact proximal-point penalty method is studied for constrained optimization problems, where the objective function is non-convex, and the constraint functions can also be non-convex. The proposed method approximately solves a sequence of subproblems, each of which is formed by adding to the original objective function a proximal term and quadratic penalty terms associated to the constraint functions. Under a weak-convexity assumption, each subproblem is made strongly convex and can be solved effectively to a required accuracy by an optimal gradient-based method. The computational complexity of the proposed method is analyzed separately for the cases of convex constraint and non-convex constraint. For both cases, the complexity results are established in terms of the number of proximal gradient steps needed to find an $\varepsilon$-stationary point. When the constraint functions are convex, we show a complexity result of $ ilde O(\varepsilon^{-5/2})$ to produce an $\varepsilon$-stationary point under the Slater's condition. When the constraint functions are non-convex, the complexity becomes $ ilde O(\varepsilon^{-3})$ if a non-singularity condition holds on constraints and otherwise $ ilde O(\varepsilon^{-4})$ if a feasible initial solution is available.

연구 동기 및 목표

• 비볼록 목표 함수와 제약 조건을 가진 제약 최적화 문제에서 근사적인 정류점(Stationary point)을 찾기 위한 기울기 기반 방법을 개발한다.
• 비정확한 프락시멀-포인트 페널티 방법의 계산 복잡도를 분석하며, $\varepsilon$-정류점에 도달하기 위한 프락시멀 경사 하강 단계의 수를 기준으로 한다.
• 다양한 정규성 조건 하에서 복잡도 한계를 설정한다: 볼록 제약 조건에 대해서는 슬레이터 조건을, 비볼록 제약 조건에 대해서는 비특이성 또는 타당성 가정을 적용한다.
• 실제 데이터 세트에서 트러스트 영역 기반 페널티 방법과의 실험적 비교를 통해, 목표 함수 값, 타당성, 정류성 측면에서 더 뛰어난 수렴 성능을 보여준다.

제안 방법

• 원래의 비볼록 목표 함수에 프락시멀 항과 이차 페널티 항을 추가하여, 강하게 볼록인 하위 문제의 시퀀스를 해결한다.
• 각 하위 문제는 오차를 통제할 수 있는 비정확한 해를 허용하는 적응형 가속 프락시멀 경사하강(AdapAPG) 방법을 사용해 근사적으로 해결한다.
• 하위 문제의 정확도가 확보되었을 때 페널티 파라미터를 적응적으로 증가시키는 스티어링 절차를 통해 수렴을 보장한다.
• 반복점을 갱신하기 위해 백트랙킹 선 탐색을 사용하며, 증강 라그랑주 함수의 충분한 감소를 보장한다.
• 고정된 페널티 파라미터와 증가하는 페널티 파라미터 두 가지 설정을 탐색하였으며, 후자는 실험에서 향상된 성능을 보였다.
• 불등식 제약과 등식 제약을 모두 처리하며, 정류성은 증강 라그랑주 함수의 기울기 노름을 통해 측정한다.

실험 결과

연구 질문

• RQ1 목표 함수가 약한 볼록이고 제약 조건이 볼록일 경우, 제약 최적화 문제에서 $\varepsilon$-정류점에 도달하는 데 필요한 계산 복잡도는 어떻게 되는가?
• RQ2 목표 함수와 제약 함수가 모두 비볼록일 경우, 다양한 제약 조건 정규성 조건 하에서 복잡도는 어떻게 변화하는가?
• RQ3 실제로 비정확한 프락시멀-포인트 페널티 방법이 트러스트 영역 기반 페널티 방법보다 더 나은 수렴 행동을 보일 수 있는가?
• RQ4 증가하는 페널티 파라미터와 고정된 페널티 파라미터의 사용이 수렴 속도와 해의 품질에 미치는 영향는 어떠한가?
• RQ5 실제 분류 문제에서 목표 함수 값, 타당성, 정류성 측면에서 이 방법의 성능은 어떠한가?

주요 결과

• 비볼록 목표 함수에 볼록 제약 조건이 존재할 경우, 슬레이터 조건 하에서 $\varepsilon$-정류점에 도달하는 데 복잡도가 $\tilde{O}(\varepsilon^{-5/2})$로 확보된다.
• 목표 함수와 제약 조건이 모두 비볼록일 경우, 제약 조건에 비특이성 조건이 성립하면 복잡도는 $\tilde{O}(\varepsilon^{-3})$가 된다.
• 비특이성 조건이 실패하나 타당한 초기 해가 존재할 경우, 복잡도는 $\tilde{O}(\varepsilon^{-4})$로 증가한다.
• 수치 결과는 iPPP 방법이 MNIST 및 covtype 데이터 세트에서 목표 함수 값 향상, 타당성 향상, 정류성 향상 측면에서 트러스트 영역 기반 페널티 방법을 모두 초월함을 보여준다.
• 증가하는 페널티 파라미터를 사용하는 변형은 항상 고정된 페널티 버전보다 뛰어난 성능을 보이며, 적응형 페널티 갱신 전략의 유용성을 시사한다.
• 이 방법은 하위 문제의 정확도와 반복 횟수 사이의 균형을 성공적으로 유지하며, 기준 방법보다 더 적은 데이터 통과 횟수로 고품질의 정류점에 도달한다.