[논문 리뷰] An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems

Jiaming Liang, Renato D. C. Monteiro|arXiv (Cornell University)|2019. 09. 10.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 비볼록 스무스 복합 최적화를 위한 평균 곡률 가속 복합 기울기(AC-ACG) 방법을 제안한다. 이 방법은 과거 곡률의 평균을 사용하여 리프시츠 상수 추정치를 적응적으로 설정한다. 백트랙킹 방법과 달리, 곡률 과소추정 여부에 관계없이 항상 첫 번째 반복을 수락하므로, 수렴 속도가 $\|v\|^2 = \mathcal{O}(M_k/k)$로 보장되며, 여기서 $M_k$는 평균 곡률이다. 이는 합성 문제와 실제 문제 모두에서 향상된 효율성을 가져온다.

ABSTRACT

This paper presents an accelerated composite gradient (ACG) variant, referred to as the AC-ACG method, for solving nonconvex smooth composite minimization problems. As opposed to well-known ACG variants that are either based on a known Lipschitz gradient constant or a sequence of maximum observed curvatures, the current one is based on the average of all past observed curvatures. More specifically, AC-ACG uses a positive multiple of the average of all observed curvatures until the previous iteration as a way to estimate the "function curvature" at the current point and then two resolvent evaluations to compute the next iterate. In contrast to other variable Lipschitz estimation variants, e.g., the ones based on the maximum curvature, AC-ACG always accepts the aforementioned iterate regardless how poor the Lipschitz estimation turns out to be. Finally, computational results are presented to illustrate the efficiency of AC-ACG on both randomly generated and real-world problem instances.

연구 동기 및 목표

• 알려진 리프시츠 상수가 필요 없이 비볼록 스무스 복합 최적화를 위한 효율적인 1차 방법을 개발하는 것.
• 적응적 스텝 사이즈 선택에서 최대 곡률 추정을 평균 곡률로 대체하여 수렴 속도를 향상시키는 것.
• 백트랙킹 선형 검색을 피하면서도 수렴성과 반복 복잡도 보장을 확보하는 것.
• 임의로 생성된 문제와 실제 문제 사례에서의 성능을 초월하는 성능을 입증하는 것.

제안 방법

• AC-ACG는 반복 $k-1$까지 관측된 모든 곡률의 평균의 양수 배수로 곡률 추정치 $M_k$를 계산한다.
• 각 반복에서 두 번의 해석 평가를 수행한다: 하나는 $y_{k+1} = \arg\min_x \{ \ell_f(x;\tilde{x}_k) + h(x) + \frac{M_k}{2}\|x - \tilde{x}_k\|^2 \}$를 통한 프록시 부분문제를 통해 수행된다.
• 만약 $M_k$가 진짜 곡률을 과소추정할 경우, 방법은 여전히 프록시 단계를 수락한다; 과소추정일 경우, $y_k$와 보조 반복값의 볼록 조합을 두 번째 해석 평가를 통해 계산한다.
• 항상 첫 번째로 계산된 반복을 수락함으로써 백트랙킹을 피하고, 선형 검색이 없는 동작을 보장한다.
• 프록시 중심 $\tilde{x}_k$는 $y_k$와 보조 반복값 $x_k$의 볼록 조합으로 선택되어 가속화를 가능하게 한다.
• 수렴 분석을 통해 $\|v\|^2 = \mathcal{O}(M_k/k)$의 속도 경계를 확립하였으며, 여기서 $v \in \partial f(y) + \partial h(y)$이다.

실험 결과

연구 질문

• RQ1 최대 곡률 대신 과거 곡률의 평균을 사용하는 것이 비볼록 복합 최적화에서 수렴을 향상시킬 수 있는가?
• RQ2 평균 곡률 기반의 선형 검색이 없는 방법이 반복 복잡도 보장을 유지하는가?
• RQ3 실제 비볼록 문제에서 AC-ACG는 백트랙킹 기반 ACG 변종보다 어떻게 비교되는가?
• RQ4 수렴 속도를 상한 $M$이 아닌 평균 곡률 $M_k$로 표현할 수 있는가?

주요 결과

• AC-ACG는 $\|v\|^2 = \mathcal{O}(M_k/k)$의 수렴 속도를 달성하며, 여기서 $M_k$는 평균 곡률이다. 이는 $M_k$가 작을수록 더 빠른 수렴을 의미한다.
• 수치 실험에서 AC-ACG는 AG, NM, UP, NC, AD, ACT보다 런타임에서 뛰어난 성능을 보였으며, 합성 문제와 실제 문제 모두에서 가장 빨리 종료되었다.
• AC-ACG가 계산한 평균 곡률 $M_k$는 초기 $M$과 최대 곡률보다 현저히 작았으며, 효과적인 곡률 추정을 나타낸다.
• 테스트 케이스 전반에서 '좋은' 반복의 비율이 91~99%로 유지되어 강건성을 입증했다.
• 얼굴 영상로 사용된 NMF 문제에서 AC-ACG는 2위 빠른 런타임(4.70초)과 가장 낮은 반복 수(36회)를 기록하여 AG, NM, ACT를 모두 압도했다.
• 더 빠른 런타임에도 불구하고 NM은 약간 더 우수한 목적 함수 값을 찾았지만, AC-ACG는 훨씬 낮은 계산 비용으로 유사한 목적 함수 품질을 달성했다.