[논문 리뷰] Globally Convergent Type-I Anderson Acceleration for Non-Smooth Fixed-Point Iterations

Junzi Zhang, Brendan O’Donoghue외 1명|ArXiv.org|2018. 08. 12.

Matrix Theory and Algorithms참고 문헌 41인용 수 35

한 줄 요약

이 논문은 안정성 보장 조치, 파웰 유형 정규화, 강한 선형 독립성 기반 재시작 메커니즘을 통합하여, 비미분 가능하고 비확장성 고정점 반복에 대해 처음으로 전역 수렴하는 유형-I 앤더슨 가속화(IA-I)를 제안한다. 이 방법은 미분 가능성이나 선색색색 검색을 요구하지 않으며, SCS 2.0 및 CVXPY 1.0와 같은 1차 방법에서 종단 수렴을 크게 향상시킨다.

ABSTRACT

We consider the application of the type-I Anderson acceleration to solving general non-smooth fixed-point problems. By interleaving with safe-guarding steps, and employing a Powell-type regularization and a re-start checking for strong linear independence of the updates, we propose the first globally convergent variant of Anderson acceleration assuming only that the fixed-point iteration is non-expansive. We show by extensive numerical experiments that many first order algorithms can be improved, especially in their terminal convergence, with the proposed algorithm. Our proposed method of acceleration is being implemented in SCS 2.0, one of the default solvers used in the convex optimization parser-solver CVXPY 1.0.

연구 동기 및 목표

• 비미분 가능하고 비확장성 고정점 반복이 흔한 볼록 최적화 및 게임 이론에 응용되는 전역 수렴 가속화 방법을 개발한다.
• 일반적인 유형-I 앤더슨 가속화(AA-I)가 강한 가정 없이도 자주 실패하는 불안정성과 전역 수렴의 부재 문제를 해결한다.
• 선색색색 검색이나 미분 가능성에 의존하지 않도록 하여, 프록시멀, 투영 기반, 준뉴턴 방법에의 적용을 가능하게 한다.
• SCS 2.0 및 CVXPY 1.0와 같은 1차 해법에서 종단 수렴을 향상시키는 실용적이고 안정적인 가속화 프레임워크를 제공한다.
• 비유클리드 노름과 무거운 공 방법, MDP의 가치 반복과 같은 모멘타ム 기반 방법으로 이론적 보장을 확장한다.

제안 방법

• AA-I 단계와 크라스노셀스키이-망(ΚΜ) 반복을 번갈아가며 적용함으로써 진전과 안정성을 보장하는 안정화 메커니즘을 도입한다.
• 앤더슨 업데이트에 파웰 유형 정규화를 적용하여 수치적 안정성을 유지하고 악조건화를 방지한다.
• 업데이트 벡터의 강한 선형 독립성을 기반으로 한 재시작 기준을 구현하여 정체 또는 발산을 방지한다.
• 고정점 사상의 비확장성 특성을 주요 수렴 보장 수단으로 삼아, 비단조화 선색색색 검색 없는 전략을 구현한다.
• 기존의 SCS 2.0와 같은 해법에 수정된 AA-I를 통합하여 볼록 최적화 문제에 즉시 적용 가능한 플러그 앤 플레이 가속화를 가능하게 한다.
• 수축성 또는 미분 가능성 조건 없이도 ℓ₂-노름에서 비확장성 조건만으로도 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비미분 가능하고 비확장성 고정점 문제에 대해 추가 가정 없이 유형-I 앤더슨 가속화를 전역 수렴 가능하게 만들 수 있는가?
• RQ2 실제로 빠른 종단 수렴 성질을 유지하면서 AA-I의 불안정성을 어떻게 완화할 수 있는가?
• RQ3 f가 비확장성일 뿐 아니라 비미분 가능하거나 수축적이지 않을 경우 전역 수렴을 확보하기 위해 어떤 수정이 필요한가?
• RQ4 제안된 방법을 중력공 방법과 MDP의 가치 반복과 같은 모멘타ム 기반 방법으로 확장할 수 있는가?
• RQ5 f의 확률적 또는 노이즈 있는 평가에서 알고리즘의 성능은 어떻게 되며, AA-II와 비교해 볼 때 어떤가?

주요 결과

• 제안된 방법은 선색색색 검색이나 미분 가능성 조건 없이도 비미분 가능하고 비확장성 고정점 문제에 대해 전역 수렴을 달성한다.
• 광범위한 수치 실험 결과, 특히 고정밀도 영역에서 1차 방법의 종단 수렴 속도가 크게 향상됨을 보여준다.
• 알고리즘이 SCS 2.0 및 CVXPY 1.0에 통합되고 있어 실제 볼록 최적화 파이프라인에서의 실용성을 입증하고 있다.
• 다양한 문제 유형에서 표준 AA-I보다 안정성과 강건성을 높이면서도 빠른 수렴 성질을 유지한다.
• 값 반복(MDP)과 QP에서의 무거운 공 방법에 대해 이론적 확장이 성립하며, ℓ₂ 또는 ℓ∞ 노름에서 비확장성 조건 하에 전역 수렴이 증명된다.
• 스텝 크기 αᵏ가 수렴하는 경우에도 알고리즘이 전역 수렴함을 입증했지만, 이러한 적응형 설정에서의 수렴성은 여전히 열린 문제이다.