[論文レビュー] Convex Synthesis of Accelerated Gradient Algorithms for Optimization and Saddle Point Problems using Lyapunov functions

Dennis Gramlich, Christian Ebenbauer+1 more|arXiv (Cornell University)|Jun 17, 2020

Sparse and Compressive Sensing Techniques参考文献 14被引用数 4

ひとこと要約

本稿では、リャプノフ関数と半定値計画法（SDP）を用いた凸合成フレームワークを提案し、加速勾配法の最適化アルゴリズムを設計する。この手法により、凸最適化およびサドルポイント問題の両方において最適なアルゴリズムの設計が可能となる。本手法は強い凸関数にとどまらず、非凸ケースにも一般化され、非保守的で凸的な設計条件のもとで、最新の手法（たとえば三重モーメンタム法）と同等またはそれを上回る性能を達成する。

ABSTRACT

This paper considers the problem of designing accelerated gradient-based algorithms for optimization and saddle-point problems. The class of objective functions is defined by a generalized sector condition. This class of functions contains strongly convex functions with Lipschitz gradients but also non-convex functions, which allows not only to address optimization problems but also saddle-point problems. The proposed design procedure relies on a suitable class of Lyapunov functions and on convex semi-definite programming. The proposed synthesis allows the design of algorithms that reach the performance of state-of-the-art accelerated gradient methods and beyond.

研究の動機と目的

• 凸および非凸の目的関数に適用可能で、保守的でない加速勾配法のための凸合成手順の開発。
• 標準的な強い凸関数にとどまらず、制約付き最適化において有用なサドルポイント探索を可能にする非凸関数を含む、アルゴリズム設計の拡張。
• 合成条件を、それに対応する解析条件と同等にタイトに保つことで、従来の手法で一般的に見られる保守的設計を回避すること。
• 目的関数の構造的性質をアルゴリズム設計に組み込むことで、収束速度の向上を図ること。
• 一般化されたセクター条件を用いて、最適化およびサドルポイント問題の両方のアルゴリズム設計を統一するフレームワークの構築。

提案手法

• 強いための凸関数および特定の非凸関数を含む広範な目的関数クラスを定義するための一般化されたセクター条件を採用する。
• アルゴリズムの動的挙動の安定性および収束条件を導出するために、一般化されたリャプノフ関数のクラスを用いる。
• リャプノフ条件を線形行列不等式（LMI）として表現することで、合成問題を凸半定値計画問題（SDP）として定式化する。
• 解析用LMIの可解性が合成用LMIの可解性を示すように合成条件を導出することで、非保守的設計を保証する。
• SDP定式化を通じて、目的関数の構造的性質をアルゴリズムパラメータに組み込むことが可能になる。
• 同値変換および固有値の性質を活用することで、一般化されたセクター条件のもとで、ロバスト性および収束保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 加速勾配法に適用可能な非保守的で、凸および非凸関数に一般化可能な凸合成フレームワークを開発できるか？
• RQ2 リャプノフ関数を用いて、極小値ではなくサドルポイントに収束するアルゴリズムを設計できるか？
• RQ3 設計手順が、目的関数の構造的性質をどの程度組み込むことで、収束速度の向上を図れるか？
• RQ4 合成条件を、それに対応する解析条件と同等にタイトにできるか？保守的設計を回避できるか？
• RQ5 本手法は、三重モーメンタム法などの既存の加速手法と比較して、性能的にどのように差をつけるか？

主な発見

• 提案された合成フレームワークは、リプシッツ連続勾配を有する強い凸関数に対して、三重モーメンタム法と同等の収束速度を達成する。
• 一般化されたセクター条件に非凸関数を含めることで、サドルポイントに収束するアルゴリズムの設計が可能になる。
• 合成条件は非保守的である：解析用LMIの可解性と合成用LMIの可解性が同値であり、設計段階での性能損失がないことが保証される。
• 本フレームワークにより、目的関数の構造的性質をアルゴリズム設計に組み込むことができ、一般手法よりも高速な収束速度が得られる可能性がある。
• 本手法は凸半定値計画問題として定式化されており、計算的に取り扱いやすく、自動アルゴリズム生成に適している。
• 既存のIQCPおよびロバスト制御に基づく手法を一般化し、より広範な関数クラスとタイトな設計条件を可能にしている。