[논문 리뷰] Adaptive Fista

Peter Ochs, Thomas Pock|arXiv (Cornell University)|2017. 11. 12.

Numerical methods in inverse problems인용 수 2

한 줄 요약

이 논문은 비볼록 설정에서 수렴성을 향상시키기 위해 정확하거나 비정확한 선 탐색을 통해 추외 파라미터를 동적으로 최적화하는 적응형 외삽 프락시멀 그래디언트 방법인 Adaptive FISTA를 제안한다. 이 방법은 특정 조건 하에서 SR1 프락시멀 쿼asi-뉴턴 방법의 일종과 수학적으로 동치임이 입증되었으며, 일반적인 비볼록 문제에 대해 새로운 수렴 보장을 확립하였다.

ABSTRACT

In this paper we propose an adaptively extrapolated proximal gradient method, which is based on the accelerated proximal gradient method (also known as FISTA), however we locally optimize the extrapolation parameter by carrying out an exact (or inexact) line search. It turns out that in some situations, the proposed algorithm is equivalent to a class of SR1 (identity minus rank 1) proximal quasi-Newton methods. Convergence is proved in a general non-convex setting, and hence, as a byproduct, we also obtain new convergence guarantees for proximal quasi-Newton methods. The efficiency of the new method is shown in numerical experiments on a sparsity regularized non-linear inverse problem.

연구 동기 및 목표

• 비볼록 최적화 문제를 해결하기 위해 더 효율적이고 적응적인 FISTA 알고리즘의 변종을 개발하는 것.
• 가속 프락시멀 그래디언트 방법에서 고정되거나 히우리스틱 방식의 외삽 파라미터에 기인한 한계를 해결하는 것.
• 일반적인 비볼록 설정에서의 수렴성을 확립하여 이론적 보장을 더 넓은 범위의 문제에까지 확장하는 것.
• 특정 조건 하에서 적응형 파rameter 선택을 통해 제안된 방법을 프락시멀 쿼اسي-뉴턴 접근법, 특히 SR1 유형의 업데이트와 연결하는 것.
• 희소 제약 조건이 있는 실제 비선형 역문제에서의 방법의 실용적 효율성을 입증하는 것.

제안 방법

• 정확하거나 비정확한 선 탐색을 사용하여 매 반복마다 외삽 파라미터를 적응적으로 조정함으로써 수렴성을 향상시킨다.
• FISTA 프레임워크를 기반으로 하지만, 고정되거나 백트래킹 방식의 외삽을 지역적으로 최적화된 파라미터로 대체한다. 이 파라미터는 내림내림 조건을 기반으로 한다.
• 선 탐색은 목적 함수의 충분한 감소를 보장하여 가속화와 안정성의 균형을 이룬다.
• 알고리즘은 프락시멀 그래디언트 구조를 유지하면서도 적응형 파라미터를 통해 곡률 정보를 통합한다.
• 특정 조건 하에서 이 방법은 SR1 유형의 프락시멀 쿼اسي-뉴턴 방법의 일종과 수학적으로 동치임이 입증되었다.
• 일반적인 비볼록 설정에서 수렴성이 증명되었으며, 이는 신규 알고리즘과 관련된 쿼اسي-뉴턴 접근법의 이론적 타당성을 확장한다.

실험 결과

연구 질문

• RQ1 적응형 선 탐색 전략은 비볼록 최적화에서 FISTA의 수렴성과 견고성을 향상시킬 수 있는가?
• RQ2 실제로 적응형 외삽 파라미터 선택은 고정 또는 백트래킹 전략과 비교해 어떻게 성능을 냅니다?
• RQ3 제안된 적응형 방법과 SR1 유형의 쿼اسي-뉴턴 방법 사이의 이론적 관계는 무엇인가?
• RQ4 어떤 조건에서 적응형 FISTA 방법은 비볼록 설정에서 수렴성을 유지하는가?
• RQ5 제안된 방법은 기존 FISTA에 비해 희소 비선형 역문제에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 Adaptive FISTA 방법은 표준 FISTA에 비해 비볼록 최적화 문제에서 향상된 수렴 행동을 달성한다.
• 일반적인 비볼록 설정에서 수렴성이 엄밀히 증명되었으며, 이는 알고리즘에 대한 새로운 이론적 보장을 제공한다.
• 일부 조건 하에서 이 방법은 SR1 유형의 프락시멀 쿼اسي-뉴턴 방법의 일종과 수학적으로 동치이다.
• 분석의 부산물로써 프락시멀 쿼اسي-뉴턴 방법에 대한 새로운 수렴 보장이 확립되었다.
• 수치 실험을 통해 Adaptive FISTA는 희소 제약이 있는 비선형 역문제에서 기존 기준 방법에 비해 효율성이 뛰어나다는 것이 입증되었다.