[논문 리뷰] A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems

Jiaming Liang, Renato D. C. Monteiro|arXiv (Cornell University)|2018. 11. 28.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 9

한 줄 요약

이 논문은 비볼록 복합 최적화 문제를 위한 이중 가속화된 비정확한 프락시멀 포인트(D-AIPP) 방법을 제안한다. 이 방법은 외부 가속화된 비정확한 프락시멀 포인트 반복과 내부 가속화된 복합 경사하강 반복을 조합하여 $\min_z f(z) + h(z)$ 형태의 문제를 해결한다. 여기서 $f$는 리프시츠 연속 기울기를 가지는 비볼록 함수이고, $h$는 유계 정의도를 가지는 볼록 함수이다. 이 방법은 $\hat{\rho}$-근사해를 구하기 위한 반복 복잡도 한계 $\mathcal{O}\left(\frac{M^{1/2}m^{3/2}D^2}{\hat{\rho}^2} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$를 달성한다.

ABSTRACT

This paper describes and establishes the iteration-complexity of a doubly accelerated inexact proximal point (D-AIPP) method for solving the nonconvex composite minimization problem whose objective function is of the form $f+h$ where $f$ is a (possibly nonconvex) differentiable function whose gradient is Lipschitz continuous and $h$ is a closed convex function with bounded domain. D-AIPP performs two types of iterations, namely, inner and outer ones. Its outer iterations correspond to the ones of the accelerated inexact proximal point scheme. Its inner iterations are the ones performed by an accelerated composite gradient method for inexactly solving the convex proximal subproblems generated during the outer iterations. Thus, D-AIPP employs both inner and outer accelerations.

연구 동기 및 목표

• 비볼록 복합 최적화 문제를 다루며, 목표 함수가 리프시츠 연속 기울기를 가지는 비볼록 미분 가능 함수와 유계 정의도를 가지는 닫힌 볼록 함수의 합인 경우.
• 외부 및 내부 가속 메커니즘을 조합하여 더 빠른 수렴을 달성하는 방법을 개발하는 것.
• $\|\hat{v}\| \leq \hat{\rho}$, $\hat{v} \in \partial(f + h)(\hat{z})$를 만족하는 $\hat{\rho}$-근사해를 구하기 위한 반복 복잡도 한계를 설정하는 것.
• 더 큰 스텝 사이즈 $\lambda = 1/(2m)$를 사용하여 곡률 매개변수 $M$과 $m$에 대해 더 나은 복잡도를 달성함으로써 기존 가속화 방법을 향상시키는 것.
• 유계 정의도 제약 조건이 있는 이차 프로그래밍 문제에 대한 수치 실험을 통해 계산 효율성을 입증하는 것.

제안 방법

• D-AIPP 방법은 각 외부 반복에서 근사적으로 프락시멀 하위문제를 해결하는 가속화된 비정확한 프락시멀 포인트 기반 외부 루프를 사용한다.
• 각 프락시멀 하위문제의 형태는 $\min_u \left\{ f(u) + h(u) + \frac{1}{2\lambda}\|u - \tilde{x}_{k-1}\|^2 \right\}$이며, $\lambda = 1/(2m)$로 설정되어 곡률 조건 (2)에 의해 강볼록성을 확보한다.
• 내부 반복은 각 하위문제를 가속화된 복합 경사하강(ACG) 방법을 사용하여 해결하며, 각 반복에서 $h$의 단일 해석자 평가만 필요로 한다.
• 이 방법은 이중 가속 전략을 채택한다: 외부 루프에서의 가속(네스테로프 스타일 모멘타임)과 내부 루프에서의 가속(볼록 하위문제에 대한 ACG).
• 수렴과 하위문제 정확도를 제어하기 위해 백트랙킹 선색색법과 적응형 매개변수 $\lambda$, $\theta$, $\delta$를 사용한다.
• 출력은 $\hat{v} \in \nabla f(\hat{z}) + \partial h(\hat{z})$ 및 $\|\hat{v}\| \leq \hat{\rho}$를 만족하는 쌍 $(\hat{z}, \hat{v})$이며, 잔여항과 오차 항의 이론적 분석을 통해 복잡도 한계가 유도된다.

실험 결과

연구 질문

• RQ1 이중 가속화된 비정확한 프락시멀 포인트 방법이 기존 가속화 방법보다 비볼록 복합 문제에 대해 더 나은 반복 복잡도 한계를 달성할 수 있는가?
• RQ2 기존의 $\lambda = 1/M$ 대신 더 큰 스텝 사이즈 $\lambda = 1/(2m)$를 사용할 경우, 비정확한 프락시멀 포인트 방법의 수렴성과 복잡도에 어떤 영향을 미치는가?
• RQ3 비볼록 문제에 대해 외부 가속화된 프락시멀 포인트 반복과 내부 가속화된 복합 경사하강 반복을 조합할 경우의 이론적 반복 복잡도는 무엇인가?
• RQ4 비볼록 문제에서 곡률 비율 $M/m$이 다양할 때, D-AIPP 방법이 단기 스텝 ACG 및 AIPP 방법에 비해 수렴 속도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 큰 곡률 비율을 가진 문제에서 $\lambda$와 $\delta$의 적응형 조정이 현재 분석의 이론적 범위를 초월하더라도 성능 향상에 기여할 수 있는가?

주요 결과

• D-AIPP 방법은 $\hat{\rho}$-근사해를 구하기 위한 반복 복잡도 한계 $\mathcal{O}\left(\frac{M^{1/2}m^{3/2}D^2}{\hat{\rho}^2} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$를 달성한다.
• 이 방법은 이중 가속화를 구현한다: 외부 프락시멀 포인트 반복과 내부 ACG 하위문제 해결 모두에서 가속화를 적용하여, 단일 가속화 방법보다 더 나은 복잡도를 달성한다.
• 작은 곡률 비율 $M/m$의 경우, D-AIPP 방법은 총 반복 수에서 가속화된 경사하강(AG) 및 가속화된 비정확한 프락시멀 포인트(AIPP) 방법보다 뛰어나다.
• 큰 곡률 비율의 경우 D-AIPP 방법은 경쟁력 있는 성능를 유지하지만, 테스트된 사례에서는 AIPP 방법이 더 우수한 성능를 보였으며, 이는 적응형 매개변수 조정을 통한 향상 가능성을 시사한다.
• 수치 결과는 D-AIPP 방법이 AG 및 AIPP 방법과 동일한 목적 함수 값 $\bar{f}$를 달성하지만, 반복 횟수는 크게 줄어들었다(예: $M=16777216$, $m=1048576$일 때 1246회 대비 4429회)로, 더 빠른 수렴 속도를 입증한다.
• 이론적 복잡도는 $M^{1/2}m^{3/2}$에 의존하며, 이는 단기 스텝 ACG 방법의 $M$에 대한 의존성보다 유리하고, 장기 스텝 ACG 방법과 유사하지만, 이중 가속화의 추가 이점이 있다.