[논문 리뷰] Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs

Weiwei Kong, Jefferson G. Melo외 1명|arXiv (Cornell University)|2018. 02. 10.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 8

한 줄 요약

이 논문은 선형 제약 조건이 붙은 비볼록 복합 프로그램을 해결하기 위해 이차 페널티 가속 불완전 프락시티 포인트(QP-AIPP) 방법을 제안한다. 이는 페널티 하위문제를 해결하기 위해 가속 불완전 프락시티 포인트 기법과 ACG 방법을 조합한다. 유사한 가정 조건 하에, 유한한 최적값을 가정하지만 유계 도메인이나 최적해 존재성 요구 조건 없이, $\|\hat{v}\| \leq \hat{\rho}$ 및 $\|A\hat{z} - b\| \leq \hat{\eta}$ 를 만족하는 삼중항 $(\hat{z}, \hat{v}, \hat{p})$ 를 생성하기 위한 반복 복잡도 상한 $\mathcal{O}(\hat{\rho}^{-2}\hat{\eta}^{-1})$ 을 확립한다.

ABSTRACT

This paper analyzes the iteration-complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs. More specifically, the objective function is of the form $f + h$ where $f$ is a differentiable function whose gradient is Lipschitz continuous and $h$ is a closed convex function with bounded domain. The method, basically, consists of applying an accelerated inexact proximal point method for solving approximately a sequence of quadratic penalized subproblems associated to the linearly constrained problem. Each subproblem of the proximal point method is in turn approximately solved by an accelerated composite gradient (ACG) method. It is shown that the proposed scheme generates a $ρ$-approximate stationary point in at most ${\cal{O}}(ρ^{-3})$ ACG iterations. Finally, numerical results showing the efficiency of the proposed method are also given.

연구 동기 및 목표

• 선형 제약 조건이 있는 비볼록 복합 프로그램을 해결하기 위한 제1차 방법을 개발하여 반복 복잡도를 향상시키는 것. 목적함수는 $f + h$ 이며, $f$ 는 미분 가능하고 $L_f$-립시츠이며, $h$ 는 닫힌 볼록 함수이다.
• 이차 페널티 방법과 불완전 프락시티 포인트 기법을 조합하여 선형 제약 조건이 있는 비볼록 문제를 해결하는 데 도전하는 것.
• 하향 곡률 정보를 활용하고 하위문제 해결에 가속 불완전 프락시티 포인트(AIPP) 방법을 사용하여 표준 가속 경사하강법보다 더 나은 복잡도를 달성하는 것.
• 최적해가 존재하지 않거나 도메인이 유계가 아니더라도, $\hat{\rho}$ 와 $\hat{\eta}$ 를 각각 정류성과 타당성의 허용 오차로 삼아 반복 복잡도 상한을 도출하는 것.

제안 방법

• 원래 문제를 이차 페널티 접근법을 통해 $\min_z f(z) + h(z) + \frac{c}{2}\|Az - b\|^2$ 형태의 페널티 하위문제 시퀀스로 변환한다.
• 각 페널티 하위문제는 가속 불완전 프락시티 포인트(AIPP) 방법을 사용하여 근사적으로 해결한다. 이 방법은 페널티 함수의 프락시미션을 반복적으로 최소화한다.
• AIPP 방법은 $\min_z f(z) + h(z) + \frac{c}{2}\|Az - b\|^2 + \frac{1}{2\lambda}\|z - z_{k-1}\|^2$ 형태의 하위문제를 가속 복합 경사하강(ACG) 방법으로 해결한다.
• 타당성 허용 오차 $\|Az - b\| \leq \hat{\eta}$ 를 충족할 때까지 페널티 파라미터 $c$ 를 적응적으로 증가시켜, $\hat{\rho}$-근사 정류점으로 수렴하도록 보장한다.
• AIPP 방법은 목적함수의 하향 곡률 $m$ 을 활용하여 복잡도 상한 $\mathcal{O}(\sqrt{M/m} \cdot \min\{\phi(z_0) - \phi_*, m d_0^2\} / \rho^2 + \sqrt{M/m} \log^+(M/m))$ 을 달성하며, 이는 표준 ACG 대비 $\sqrt{M/m}$ 배 향상된다.
• 이 방법은 최소한의 가정 조건에서 작동하도록 설계되었으며, 원래 문제의 최적값이 유한함을 가정하지만, $\text{dom}\,h$ 가 유계일 필요 없고 최적해가 존재하지 않아도 된다.

실험 결과

연구 질문

• RQ1 이차 페널티 방법과 가속 불완전 프락시티 포인트 기법을 조합한 방법이 선형 제약 조건이 있는 비볼록 복합 프로그램을 해결할 때 반복 복잡도는 어떻게 되는가?
• RQ2 페널티 하위문제 해결에 AIPP 방법을 사용할 경우 표준 ACG 방법에 비해 복잡도가 어떻게 향상되는가?
• RQ3 이 방법은 도메인 크기나 최적해 존재성에 의존하지 않는 복잡도로 $\hat{\rho}$-근사 정류점과 $\hat{\eta}$-타당해를 달성할 수 있는가?
• RQ4 복잡도 상한이 페널티 파라미터 $c$, 리프시츠 상수 $M$, 페널티 목적함수의 하향 곡률 $m$ 에 어떻게 의존하는가?
• RQ5 이 방법은 최종 반복값이 동시에 정류성 및 타당성 허용 오차를 충족하도록 어떻게 보장하는가?

주요 결과

• QP-AIPP 방법은 최대 $\mathcal{O}(\hat{\rho}^{-2}\hat{\eta}^{-1})$ 번의 가속 복합 경사하강(ACG) 반복을 통해 $\rho$-근사 정류점과 $\eta$-타당해를 생성한다.
• 이 방법은 원래 문제의 최적값이 유한하다는 온건한 가정 하에, 도메인이 유계이거나 최적해가 존재하지 않아도 복잡도 상한을 달성한다.
• AIPP 하위문제 해법은 하향 곡률 $m$ 을 활용함으로써 표준 ACG 대비 리프시츠 상수 $M$ 의 의존도를 $\mathcal{O}(M)$ 에서 $\mathcal{O}(\sqrt{M})$ 으로 감소시켜 향상된다.
• AIPP 방법의 반복 복잡도 상한은 $\mathcal{O}\left(\frac{\sqrt{Mm}}{\rho^2}\min\{\phi(z_0) - \phi_*, m d_0^2\} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$ 이며, 이는 표준 ACG 대비 $\sqrt{M/m}$ 배 향상된다.
• 수치 결과는 제안된 방법의 효율성을 입증하며, 이는 실질적으로 이론적 복잡도 상한과 일치함을 확인한다.
• 이 방법은 최종 반복값이 $\|\hat{v}\| \leq \hat{\rho}$ 와 $\|A\hat{z} - b\| \leq \hat{\eta}$ 를 동시에 충족하도록 보장하며, 타당성 요구 조건을 충족시키기 위해 페널티 파라미터 $c$ 가 적응적으로 증가한다.