[논문 리뷰] Improving "Fast Iterative Shrinkage-Thresholding Algorithm": Faster, Smarter and Greedier

Jingwei Liang, Tao Luo외 1명|arXiv (Cornell University)|2018. 11. 04.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 라우지-스타트 전략과 적응형/그리디 가속 규칙을 갖춘 수정된 FISTA 알고리즘을 제안하며, 수렴 보장 조건을 유지하면서도 실용적 수렴 속도를 크게 향상시킨다. 새로운 방법은 표준 FISTA와 FISTA-BT를 뛰어넘으며, 그리디 변종은 특정 문제에서 최대 10배 빠른 수렴을 달성한다.

ABSTRACT

The "fast iterative shrinkage-thresholding algorithm", a.k.a. FISTA, is one of the most well-known first-order optimisation scheme in the literature, as it achieves the worst-case $O(1/k^2)$ optimal convergence rate in terms of objective function value. However, despite such an optimal theoretical convergence rate, in practice the (local) oscillatory behaviour of FISTA often damps its efficiency. Over the past years, various efforts are made in the literature to improve the practical performance of FISTA, such as monotone FISTA, restarting FISTA and backtracking strategies. In this paper, we propose a simple yet effective modification to the original FISTA scheme which has two advantages: it allows us to 1) prove the convergence of generated sequence; 2) design a so-called "lazy-start" strategy which can up to an order faster than the original scheme. Moreover, by exploring the properties of FISTA scheme, we propose novel adaptive and greedy strategies which probes the limit of the algorithm. The advantages of the proposed schemes are tested through problems arising from inverse problem, machine learning and signal/image processing.

연구 동기 및 목표

• 최적의 O(1/k²) 수렴 속도를 보이지만 진동 행동으로 인해 실용적으로 비효율적인 FISTA의 문제를 해결한다.
• 표준 FISTA에서 수열 수렴의 부재를 극복하기 위해 수렴 보장이 입증된 수정된 알고리즘을 도입한다.
• 수렴 보장을 훼손하지 않으면서 초기 반복에서 수렴 속도를 높이기 위해 라우지-스타트 전략을 개발한다.
• 지역 문제 특성에 동적으로 반응하는 적응형 및 그리디 스텝 사이즈 전략을 설계하여 성능 향상을 도모한다.
• 역문제, 머신러닝, 영상처리 분야의 실제 문제들에 대해 제안된 방법을 평가한다.

제안 방법

• 기존 FISTA와 달리 수렴 보장이 보장되는 새로운 업데이트 규칙을 도입한 수정된 FISTA 체계를 제안한다.
• 반복자가 안정화될 때까지 강력한 관성 사용을 연기하는 '라우지-스타트' 전략을 제안한다. 이는 초기 진동을 줄이는 데 기여한다.
• 목적 함수의 국소 곡률을 탐색하는 데 기반한 적응형 및 그리디 스텝 사이즈 규칙을 설계하여 수렴 속도를 가속화한다.
• 수렴을 유지하면서도 실용적 속도를 향상시키기 위해 수정된 FISTA에 백트랙킹 선색색을 통합한다.
• 비미분 최적화 문제의 구조를 다루기 위해 프로ximity 연산자와 관성형 전진-후진 분할 기법을 사용한다.
• ℓ∞-노름, 총변동, 희소 로지스틱 회귀, 주성분 추적 문제에 적용하여 알고리즘을 구현하고 테스트한다.

실험 결과

연구 질문

• RQ1 수렴 보장이 보장되며 빠른 수렴 속도를 유지하는 수정된 FISTA 체계를 설계할 수 있는가?
• RQ2 라우지-스타트 전략은 수렴 보장을 훼손하지 않으면서 FISTA의 실용적 성능을 어떻게 향상시킬 수 있는가?
• RQ3 적응형 및 그리디 스텝 사이즈 규칙은 비미분 최적화에서 FISTA의 수렴 속도를 어느 정도 향상시킬 수 있는가?
• RQ4 다양한 문제 유형에서 제안된 변종이 FISTA-BT와 단조성 FISTA에 비해 수렴 속도와 안정성 측면에서 어떻게 비교되는가?
• RQ5 제안된 체계는 영상 처리 및 머신러닝과 같은 실제 응용 분야에서 상당한 속도 향상을 달성할 수 있는가?

주요 결과

• ℓ∞-노름 문제에서 고정밀도(‖xₖ − x*‖ ≤ 10⁻¹⁰)가 요구될 경우, 제안된 라우지-스타트 FISTA-Mod는 FISTA-BT보다 10배 이상 빠른 수렴을 달성한다.
• 적응형 및 그리디 FISTA 변종은 모든 테스트 문제에서 표준 FISTA와 FISTA-BT를 뛰어넘으며, 그리디 FISTA가 모든 실험에서 가장 빠른 성능을 보였다.
• 수정된 FISTA 체계는 수열 수렴을 보장하여 원래 FISTA 알고리즘의 핵심 한계를 해결한다.
• 라우지-스타트 전략은 초기 진동을 효과적으로 줄이고, 특히 초반 진전이 느린 문제에서 수렴 속도를 가속화한다.
• 희소 로지스틱 회귀와 주성분 추적 문제에 대한 수치 결과는 제안된 체계가 고정밀도를 유지하면서 반복 횟수를 크게 줄임을 확인한다.
• 라우지-스타트 FISTA-Mod의 성능은 재시작 기반 적응형 체계와 매우 유사하여 강력한 실용적 타당성을 보여준다.