[논문 리뷰] Geometry of First-Order Methods and Adaptive Acceleration

Clarice Poon, Jingwei Liang|arXiv (Cornell University)|2020. 03. 09.

Numerical methods in inverse problems참고 문헌 73인용 수 9

한 줄 요약

이 논문은 비미분 가능 최적화 문제에서의 1차 방법을 분석하기 위한 기하학적 프레임워크를 제안하며, 국소적으로 부분 미분 가능성을 통해 선형 또는 나선형과 같은 규칙적인 궤적으로 수렴하는 반복 해를 드러낸다. 이와 함께 궤적을 추적하는 적응형 가속 알고리즘을 제안하여, 벡터 외삽 기법과 연결함으로써 전역 수렴성과 향상된 국소 수렴 속도를 달성한다.

ABSTRACT

First-order operator splitting methods are ubiquitous among many fields through science and engineering, such as inverse problems, signal/image processing, statistics, data science and machine learning, to name a few. In this paper, we study a geometric property of first-order methods when applying to solve non-smooth optimization problems. With the tool of "partial smoothness", we design a framework to analyze the trajectory of the fixed-point sequence generated by first-order methods and show that locally, the fixed-point sequence settles onto a regular trajectory such as a straight line or a spiral. Based on this finding, we discuss the limitation of current widely used "inertial acceleration" technique, and propose a trajectory following adaptive acceleration algorithm. Global convergence is established for the proposed acceleration scheme based on the perturbation of fixed-point iteration. Locally, we first build connections between the acceleration scheme and the well-studied "vector extrapolation technique" in the field of numerical analysis, and then discuss local acceleration guarantees of the proposed acceleration scheme. Moreover, our result provides a geometric interpretation of these vector extrapolation techniques. Numerical experiments on various first-order methods are provided to demonstrate the advantage of the proposed adaptive acceleration scheme.

연구 동기 및 목표

• 비미분 가능 최적화 문제를 해결할 때 1차 방법의 고정점 반복 해의 기하학적 행동을 이해하는 것.
• 기존 관성 가속 기법이 진정한 수렴 궤적을 포착하지 못하는 한계를 규명하는 것.
• 반복 해의 국소 궤적을 동적으로 따라가며 수렴 속도를 향상시키는 적응형 가속 기법을 개발하는 것.
• 고정점 반복 변형 이론을 통해 제안된 가속 방법의 전역 수렴 보장을 확립하는 것.
• 수렴 역학의 구조를 통해 고전적 벡터 외삽 기법의 기하학적 해석을 제공하는 것.

제안 방법

• 1차 방법이 생성하는 고정점 수열의 국소 기하학을 기술하기 위해 부분 미분 가능성 개념을 사용한다.
• 반복 해의 궤적을 분석하고 힐베르트 공간 내에서 직선 또는 나선과 같은 규칙적인 곡선으로 국소 수렴함을 보여준다.
• 관측된 국소 기하학에 기반해 외삽 단계를 수정하는 궤적 추적 적응형 가속 알고리즘을 제안한다.
• 가속을 원래 고정점 반복의 변형으로 간주함으로써 전역 수렴을 확립한다.
• 수렴 역학의 구조를 통해 제안된 기법을 외삽 기법(예: 최소 다항식 외삽)과 연결한다.
• 스펙트럼 가정 하에 수렴 속도를 유계화하기 위해 체비셰프 다항식 근사법을 활용한다.

실험 결과

연구 질문

• RQ1 비미분 가능 최적화 문제에서 1차 방법의 반복 해는 해에 가까이 있을 때 기하학적으로 어떻게 행동하는가?
• RQ2 기본적인 관성 가속 기법이 수렴의 기하학적 구조를 충분히 활용하지 못하는 이유는 무엇인가?
• RQ3 반복 해의 국소 궤적을 따라가며 수렴 속도를 향상시키는 적응형 가속 기법을 설계할 수 있는가?
• RQ4 이러한 궤적 추종 가속 방법의 이론적 수렴 보장은 무엇인가?
• RQ5 제안된 방법은 수치 해석 분야의 고전적 벡터 외삽 기법과 어떻게 관련되며 일반화되는가?

주요 결과

• 비미분 가능 문제의 활성 다양체의 부분 미분 가능성에 의해 1차 방법의 고정점 반복 해는 국소적으로 직선 또는 나선과 같은 규칙적인 궤적으로 수렴한다.
• 제안된 적응형 가속 기법은 가속을 원래 고정점 반복의 변형으로 간주함으로써 전역 수렴을 달성한다.
• 관측된 궤적에 따라 외삽 방향을 정렬함으로써 국소 수렴 속도 향상을 제공하며, 기존 관성 기법보다 뛰어난 성능을 보인다.
• 스펙트럼 가정 하에 체비셰프 다항식 최소화를 통해 수렴 속도를 유계화하였으며, 수렴 속도는 $ \mathcal{O}\left(\left(\frac{\sqrt{\eta}-1}{\sqrt{\eta}+1}\right)^q\right) $ 로 표현되며, 여기서 $ \eta = \frac{1-\alpha}{1-\beta} $ 이다.
• 이 프레임워크는 외삽 기법에 대한 기하학적 해석을 제공하며, 이는 수렴 역학의 주요 부분공간을 암묵적으로 근사한다는 것을 보여준다.
• 수치 실험을 통해 FISTA 및 ADMM와 같은 다양한 1차 알고리즘에서 표준 관성 방법에 비해 적응형 기법의 우수성을 확인하였다.