[論文レビュー] Robust and structure exploiting optimization algorithms: An integral quadratic constraint approach

Simon Michalowsky, Carsten W. Scherer+1 more|arXiv (Cornell University)|May 1, 2019

Advanced Optimization Algorithms Research参考文献 34被引用数 8

ひとこと要約

本稿では、強い凸性および滑らかさを満たす関数に対する勾配ベースのアルゴリズムの分析および設計を目的として、積分二次制約（IQCs）を用いたロバスト最適化フレームワークを提案する。最適化ダイナミクスをフィードバックシステムとしてモデル化することにより、保証された収束速度とロバスト性を実現し、問題の構造を活用して凸最適化手法を用いて、性能上限が保証された優れたアルゴリズムを設計できる。

ABSTRACT

We consider the problem of analyzing and designing gradient-based discrete-time optimization algorithms for a class of unconstrained optimization problems having strongly convex objective functions with Lipschitz continuous gradient. By formulating the problem as a robustness analysis problem and making use of a suitable adaptation of the theory of integral quadratic constraints, we establish a framework that allows to analyze convergence rates and robustness properties of existing algorithms and enables the design of novel robust optimization algorithms with prespecified guarantees capable of exploiting additional structure in the objective function.

研究の動機と目的

• 保証された収束性とロバスト性を有する勾配ベースの最適化アルゴリズムを統一的に分析および設計するフレームワークの構築。
• 目的関数の構造的性質（例：スパarsity、ブロック構造）を活用してアルゴリズムの性能を向上させること。
• 凸最適化ツールを用いて、収束速度とロバスト性マージンを明示的に導出すること。
• 既存のIQCs理論を離散時間最適化ダイナミクスに拡張し、ロバストネス解析を可能とすること。
• 事前に指定された収束保証を持つ新しいアルゴリズムの体系的設計を可能とすること。

提案手法

• 最適化アルゴリズムのダイナミクスを、線形時不変系と勾配写像を表す非線形演算子とのフィードバック相互接続として定式化する。
• 積分二次制約（IQCs）の理論を適用し、閉ループ系の安定性および収束性を分析する。
• Zames-Falbおよびその他の特殊なIQCs乗数を用いて、勾配の単調性およびリプシッツ性をモデル化する。
• パラメータ化されたIQCs乗数を構築し、収束速度解析のための凸最適化条件を導出する。
• ロバストネス解析を半定値計画問題（SDP）に変換し、最悪ケースの収束速度を計算する。
• IQCsに基づく性能制約を用いた逆問題を解くことで、新しい最適化アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 積分二次制約（IQCs）をどのように適用することで、一階最適化アルゴリズムの収束速度を厳密に分析できるか？
• RQ2 強い凸性およびリプシッツ勾配の仮定のもとで、与えられた最適化アルゴリズムクラスに対して達成可能な最悪ケース収束速度の上限は何か？
• RQ3 目的関数における追加の構造（例：スパarsity、ブロック構造）をどのように活用することで、アルゴリズムの性能を向上させられるか？
• RQ4 IQCsに基づく合成手法を用いて、収束速度が保証された新しい最適化アルゴリズムを体系的に設計できるか？
• RQ5 非因果的およびFIR Zames-Falb乗数は、収束速度推定値をどのように改善するか？

主な発見

• IQCsフレームワークにより、ヘヴィーボール法やネステロフの方法といった標準的アルゴリズムの、保証されたタイトな最悪ケース収束速度が導出可能である。
• 本アプローチにより、問題固有の構造を組み込むことで、収束速度が向上した新しい最適化アルゴリズムの設計が可能となる。
• 同じフレームワークを用いることで、勾配誤差や摂動に対するロバストネスマージンを定量的に評価・最適化できる。
• 非因果的およびFIR Zames-Falb乗数の使用により、従来の手法に比べて著しくタイトな収束速度推定値が得られる。
• 分析および設計の問題が、凸最適化（特に半定値計画問題）に還元され、性能上限およびアルゴリズムパラメータの効率的計算が可能となる。
• 本フレームワークは、ブロック対角的またはスパースヘッシアン構造を有するような構造的対象へも成功裏に一般化され、より良い収束保証が得られる。