[논문 리뷰] A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems

Jiaming Liang, Renato D. C. Monteiro외 1명|arXiv (Cornell University)|2019. 05. 16.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 부드러운 비볼록 복합 최적화 문제를 해결하기 위해 가속화된 복합 경사하강(ACG) 두 가지 변종을 제안한다. 이는 FISTA를 비볼록 설정으로 확장한 것으로, 첫 번째 변종은 곡률 쌍 (M, m)을 요구하지만 볼록 케이스에서는 FISTA로 축소된다. 두 번째 변종은 임의의 (M, m) 입력을 처리할 수 있으며, 특히 M가 진정한 M̄보다 작을 경우 더 나은 또는 유사한 반복 복잡도를 달성한다. 이는 경험적으로 성능 향상을 가져오며, 반복마다 정규화된 평가를 한 번만 수행한다(로그 범위 제한 예외 제외).

ABSTRACT

In this paper, we describe and establish iteration-complexity of two accelerated composite gradient (ACG) variants to solve a smooth nonconvex composite optimization problem whose objective function is the sum of a nonconvex differentiable function $ f $ with a Lipschitz continuous gradient and a simple nonsmooth closed convex function $ h $. When $f$ is convex, the first ACG variant reduces to the well-known FISTA for a specific choice of the input, and hence the first one can be viewed as a natural extension of the latter one to the nonconvex setting. The first variant requires an input pair $(M,m)$ such that $f$ is $m$-weakly convex, $ abla f$ is $M$-Lipschitz continuous, and $m \le M$ (possibly $m

연구 동기 및 목표

• . 이 논문은 수렴 보장과 반복 복잡도 보장을 유지하면서 FISTA를 비볼록 설정으로 확장하고자 한다.
• . 기존 ACG 방법에서 정확한 곡률 쌍 (M, m)을 요구하는 문제를 다루며, 이는 종종 추정하기 어려운 경우가 많다.
• . 두 번째 변종은 임의의 (M, m) 입력을 처리하도록 설계되어 강건성과 성능을 향상시킨다.
• . 목표는 기존 방법과 비교하여 동일하거나 더 나은 반복 복잡도 상한을 확립하는 것으로, 특히 m ∈ [m̄, M̄]일 경우에 해당한다.
• . 비볼록 문제, 특히 비음수 행렬 분해(NMF)에 대한 수치적 검증을 통해 실용적 효율성을 입증한다.

제안 방법

• . 첫 번째 ACG 변종은 곡률 쌍 (M, m)을 사용하여 FISTA를 비볼록 문제로 확장한다. 이는 m-약한 볼록성과 M-립시츠 연속 그라디언트를 만족하는 조건을 필요로 한다.
• . 두 번째 변종인 ADAP-NC-FISTA는 파rameter를 동적으로 조정하며, (2)와 (4)를 만족할 필요 없이 작동하여 나쁜 추정에 대한 강건성을 확보한다.
• . 두 방법 모두 반복마다 정확히 한 번의 h에 대한 정규화 평가를 수행한다. 다만, 로그 범위로 제한된 수의 예외를 제외한다.
• . 목적 함수의 충분한 감소를 보장하기 위해 선-검색 유사 배경 전략을 사용한다.
• . 비볼록 경관에서 수렴 행동을 향상시키기 위해 비단조성 선-검색을 통합한다.
• . 이론적 분석을 통해 O(M̄d₀²/ρ² + (Md₀/ρ)²ᐟ³ + M̄m̄Dₕ²/ρ²) 형태의 반복 복잡도 상한을 확립하며, 특정 영역에서 이전 작업보다 향상된 성능을 보인다.

실험 결과

연구 질문

• RQ1 . FISTA 스타일 가속화는 반복 복잡도 보장을 유지하면서 비볼록 복합 문제로 확장될 수 있는가?
• RQ2 . 제안된 두 번째 ACG 변종은 입력 곡률 쌍 (M, m)이 최적 또는 잘못된 추정일 경우 복잡도 상한을 유지하거나 향상시키는가?
• RQ3 . 비볼록 설정에서 전역 수렴과 가속화를 보장하면서도 반복마다 정규화 평가를 한 번만 수행할 수 있는가?
• RQ4 . 실세계 응용, 예를 들어 비음수 행렬 분해(NMF)에서 새로운 ACG 변종의 성능은 ANLS와 비교해 어떻게 되는가?
• RQ5 . M < M̄를 선택할 경우 두 번째 변종의 실용적 성능에 어떤 영향을 미치는가?

주요 결과

• . 두 번째 ACG 변종인 ADAP-NC-FISTA는 첫 번째 변종보다 나은 복잡도를 달성하거나 동일한 복잡도를 유지하며, 특히 M가 진정한 M̄보다 작을 경우에 특히 두드러진다.
• . m ∈ [m̄, M̄]일 경우, 두 번째 변종의 복잡도는 첫 번째 변종이 M = M̄를 사용할 때와 유사하게 행동하여 입력 선택에 대한 강건성을 보여준다.
• . 비음수 행렬 분해(NMF)에서 AD는 ANLS보다 뛰어나 28회 반복과 4.6초 내에 함수 값을 2.80×10⁹로 달성했고, ANLS는 1000회 반복과 137.6초가 소요되었다.
• . AD 방법은 4.6초 내에 상대 잔차 10⁻⁷을 달성하여 수렴 속도가 뛰어나다는 것을 입증했다.
• . 두 번째 변종은 반복의 대부분에서 정규화 평가를 한 번만 수행하며, 나머지 로그 범위로 제한된 반복 수를 제외하고는 모두 동일한 효율성을 확보한다.
• . 계산 결과에 따르면 M를 M̄보다 크게 작게 선택할 경우 성능 향상이 상당히 이루어지며, 이는 적응형 접근의 실용적 이점을 검증한다.