[논문 리뷰] Anderson Acceleration of Proximal Gradient Methods

Vien Van, Mikael Johansson|arXiv (Cornell University)|2019. 10. 18.

Numerical methods in inverse problems인용 수 18

한 줄 요약

이 논문은 보조적 경사 하강법에 대해 안정화된 앤더슨 가속화 프레임워크를 소개하며, 국소적으로 초선형 수렴을 가능하게 하면서도 전역 최악의 경우 수렴 보장을 유지한다. 비미분 가능 맵핑에 대한 국소 수렴을 확립하고, 기존 앤더슨 가속화의 전역 수렴이 보장되지 않음을 증명하며, 비유클리드 브레그만 보조적 경사 하강 계획에 적용하여 실제 문제에서 수개의 주요 수준의 속도 향상을 보였다.

ABSTRACT

Anderson acceleration is a well-established and simple technique for speeding up fixed-point computations with countless applications. Previous studies of Anderson acceleration in optimization have only been able to provide convergence guarantees for unconstrained and smooth problems. This work introduces novel methods for adapting Anderson acceleration to (non-smooth and constrained) proximal gradient algorithms. Under some technical conditions, we extend the existing local convergence results of Anderson acceleration for smooth fixed-point mappings to the proposed scheme. We also prove analytically that it is not, in general, possible to guarantee global convergence of native Anderson acceleration. We therefore propose a simple scheme for stabilization that combines the global worst-case guarantees of proximal gradient methods with the local adaptation and practical speed-up of Anderson acceleration.

연구 동기 및 목표

• 비미분 가능, 복합 최적화 문제에서 기존 앤더슨 가속화의 이론적 수렴 보장 부족 문제를 해결한다.
• 보조적 경사 하강법의 전역 최악의 경우 수렴을 유지하면서 국소 가속을 가능하게 하기 위해 앤더슨 가속화를 안정화한다.
• 브레그만 보조적 경사 하강 프레임워크로 앤더슨 가속화를 확장하여 비유클리드 기하학 응용을 가능하게 한다.
• 제약 최적화 문제, 특히 로지스틱 회귀, 비음수 최소 제곱, 상대 엔트로피 회귀에서 상당한 실용적 속도 향상을 보여준다.
• 기존 앤더슨 가속화의 한계에 대한 이론적 근거를 제시하고, 전역 수렴을 보장하기 위해 가드 스텝 메커니즘을 제안한다.

제안 방법

• 보조적 경사 하강 알고리즘(PGA)에 대해 앤더슨 가속화 단계와 보호된 백트래킹 선 탐색을 조합한 안정화된 앤더슨 가속화 계획을 제안하여 전역 수렴을 유지한다.
• AA 단계가 목적 함수를 감소시키지 못할 경우 표준 PGA로 되돌리는 가드 스텝을 도입하여 전역 최악의 경우 수렴 보장을 유지한다.
• 브레그만 발산을 거리 측정 척도로 사용하여 앤더슨 가속화를 브레그만 보조적 경사 하강(BPG) 가족에 적응시켜 비유클리드 기하학에의 적용을 가능하게 한다.
• 과거 반복값을 활용하여 보조 연산자의 고정점 추정을 위해 최소 다항식 외삽 기법을 사용하여 수렴 가속화를 달성한다.
• AA 업데이트를 카일로프 부분공간에서 잔차를 최소화하는 볼록 하위문제로 공식화하여 수치적 안정성과 효율성을 확보한다.
• L1-정규화된 로지스틱 회귀 및 비음수 행렬 분해 하위문제를 포함한 다양한 비미분 가능 제약 최적화 문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 보조적 경사 하강법에서 발생하는 비미분 가능 고정점 맵핑에 대해 앤더슨 가속화를 이론적으로 정당화할 수 있는가?
• RQ2 비미분 가능 또는 복합 최적화 문제에서 기존 앤더슨 가속화의 전역 수렴이 보장되는가?
• RQ3 보조적 경사 하강법의 전역 최악의 경우 수렴을 유지하면서 국소 가속을 가능하게 하기 위해 앤더슨 가속화를 어떻게 안정화할 수 있는가?
• RQ4 브레그만 보조적 경사 하강 방법과 같은 비유클리드 최적화 프레임워크로 앤더슨 가속화를 확장할 수 있는가?
• RQ5 실제 제약 최적화 문제에서 보조적 경사 하강법과 앤더슨 가속화를 조합할 경우 어떤 경험적 성능 향상을 달성할 수 있는가?

주요 결과

• 저자들은 기존 앤더슨 가속화가 비미분 가능 맵핑에 대해 전역 수렴을 보장할 수 없음을 증명하며, 수렴하지 못하는 강력한 볼록 문제에 대한 반례를 제시한다.
• 제안된 안정화된 AA-PGA 방법은 표준 PGA와 동일한 최악의 경우 반복 복잡도를 유지하면서 국소 초선형 수렴을 달성한다.
• 제약 조건이 있는 로지스틱 회귀 문제에서 안정화된 AA-PGA 방법은 표준 PGA 및 기타 1차 방법 대비 수개의 주요 수준의 속도 향상을 달성한다.
• 비음수 최소 제곱 문제에서는 일부 어려운 경우에서 AA-BPG가 유한 시간 내에 수렴함을 보이며, 과거 반복값의 스트레스 공간 내에서 해를 식별할 수 있음을 시사한다.
• 상대 엔트로피 비음수 회귀 문제에서는 하위선형 수렴을 보이는 어려운 경우에도 AA-BPG가 선형 수렴을 달성함으로써 문제의 구조에 대한 강력한 국소 적응성을 보여준다.
• 이 방법은 비유클리드 기하학에 대한 앤더슨 가속화를 Bregman 보조적 경사 하강 프레임워크를 통해 성공적으로 적용한 최초의 방법으로, 다양한 문제 유형에서 유망한 경험적 결과를 보였다.