[論文レビュー] Acceleration Methods

Alexandre d’Aspremont, Damien Scieur+1 more|arXiv (Cornell University)|Jan 23, 2021

Stochastic Gradient Optimization Techniques参考文献 154被引用数 4

ひとこと要約

本書の独著は、性能評価問題と線形行列不等式（LMIs）を用いて、加速された一次順序最適化法の理解と設計の統一的枠組みを提供する。マスター・テンプレートを用いて、ネステロフ法やプロキシマルスキームを含むモーメンタムベースの手法の収束保証を体系的に導出することで、加速をヒューリスティックなテクニックではなく、最適設計問題としての解とすることを明らかにする。

ABSTRACT

This monograph covers some recent advances in a range of acceleration techniques frequently used in convex optimization. We first use quadratic optimization problems to introduce two key families of methods, namely momentum and nested optimization schemes. They coincide in the quadratic case to form the Chebyshev method. We discuss momentum methods in detail, starting with the seminal work of Nesterov and structure convergence proofs using a few master templates, such as that for optimized gradient methods, which provide the key benefit of showing how momentum methods optimize convergence guarantees. We further cover proximal acceleration, at the heart of the Catalyst and Accelerated Hybrid Proximal Extragradient frameworks, using similar algorithmic patterns. Common acceleration techniques rely directly on the knowledge of some of the regularity parameters in the problem at hand. We conclude by discussing restart schemes, a set of simple techniques for reaching nearly optimal convergence rates while adapting to unobserved regularity parameters.

研究の動機と目的

• 性能評価とLMIsを用いた凸最適化における加速技法の分析を統一的かつ体系的に行う。
• モーメンタムベースの加速を解明し、最悪ケースの性能設計問題の最適解として示す。
• フレームワークをプロキシマル加速およびリスタートスキームに拡張し、未知の正則化パラメータ下でも適応的収束を可能にする。
• 凸最適化ツールを用いた、原理的でアルゴリズム的ブループrintを設計するための枠組みを提供する。
• LMIsによる検証可能な収束証明を提供し、潜在関数と収束速度の自動検証を可能にする。

提案手法

• 収束分析を凸最適化として定式化する性能評価問題（PEPs）を用い、最適パラメータの体系的導出を可能にする。
• 収束を保証する潜在関数の検証に線形行列不等式（LMIs）を用い、問題を半正定値計画に還元する。
• 最適化勾配法フレームワークなどのマスターテンプレートを適用し、モーメンタムおよびプロキシマルスキームの収束証明を統一する。
• 加速がヒューリスティックではなく、最悪ケース収束バウンドを最小化する最適化問題の解であることを示すフレームワークを導入する。
• ネストド・ループ（外ループと内ループ）を用いて収束を加速し、内ループは標準的手法で部分問題を解き、外ループで加速を適用する。
• 二次問題におけるチェビシェフ多項式係数を用いて外挿を実行し、正則化を介して非二次問題へ一般化する。

実験結果

リサーチクエスチョン

• RQ1 一次順序法における加速は、経験的に発見されるのではなく、どのように体系的に導出可能か？
• RQ2 モーメンタムは最悪ケース収束速度を最適化する役割を果たすが、性能評価を用いてどのように形式化できるか？
• RQ3 プロキシマル加速は、ネステロフ風のモーメンタム法と同一の枠組みに統合可能か？
• RQ4 リスタートスキームは、正則化パラメータ（例えば強凸性やリプシッツ定数）が未知であっても、ほぼ最適な収束率を達成できるか？
• RQ5 線形行列不等式（LMIs）を用いて、複雑な加速スキームの収束保証を自動で検証可能か？

主な発見

• Nesterov法のような一次順序法における加速は、神秘的ではなく、最悪ケース収束バウンドを最小化する最適設計問題の解である。
• 二次問題におけるチェビシェフ法は、モーメンタムとネストド最適化スキームを統一し、加速収束の基礎的例を提供する。
• Catalyst や A-HPE などのフレームワークによるプロキシマル加速は、内ループの部分問題と外ループの加速を組み合わせることで、最適収束速度を達成する。
• リスタートスキームは、正則化パラメータ（例：強凸性やリプシッツ定数）が未知であっても、ほぼ最適な収束率を達成可能である。
• LMIsの使用により、潜在関数の自動検証が可能となり、収束証明が半正定値計画に変換され、記号的に解けるようになる。
• 性能評価フレームワークにより、関数値と勾配を重要な点でサンプリングすることで、タイトな収束保証が導出可能となり、証明可能な最適アルゴリズムが得られる。