[論文レビュー] Worst-case convergence analysis of gradient and Newton methods through semidefinite programming performance estimation

Etienne de Klerk, François Glineur+1 more|arXiv (Cornell University)|Sep 15, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用数 8

ひとこと要約

本稿では、滑らかで強く凸および自己調和関数に対する勾配法とニュートン法の最悪ケース収束を分析するため、半定値計画法（SDP）に基づくパフォーマンス推定フレームワークを導入する。主な貢献は、この手法を用いて短ステップ内点法の厳密な複雑度解析を実施し、AbernethyとHazan（2016）の最近のアルゴリズムに対する新たな最悪ケースの境界を導出することにある。

ABSTRACT

We provide new tools for worst-case performance analysis of the gradient (or steepest descent) method of Cauchy for smooth strongly convex functions, and Newton's method for self-concordant functions, including the case of inexact search directions. The analysis uses semidefinite programming performance estimation, as pioneered by Drori and Teboulle [Mathematical Programming, 145(1-2):451-482, 2014], and extends recent performance estimation results for the method of Cauchy by the authors [Optimization Letters, 11(7), 1185-1199, 2017]. To illustrate the applicability of the tools, we demonstrate a novel complexity analysis of short step interior point methods using inexact search directions. As an example in this framework, we sketch how to give a rigorous worst-case complexity analysis of a recent interior point method by Abernethy and Hazan [PMLR, 48:2520-2528, 2016].

研究の動機と目的

• 一次および二次の最適化手法の最悪ケース収束を分析するため、半定値計画法（SDP）に基づくパフォーマンス推定フレームワークの構築を目的とする。
• 従来のパフォーマンス推定結果を、勾配法およびニュートン法における不正確な探索方向を含めるように拡張することを目的とする。
• このフレームワークを用いて、短ステップ内点法の厳密な最悪ケース複雑度解析を可能にすることを目的とする。
• AbernethyとHazan（2016）が提唱した最近の内点法の分析を通じて、このフレームワークの適用可能性を示すこと。
• 滑らかで強く凸および自己調和関数の下で、最悪ケース条件下における収束速度を体系的に評価・境界化するためのツールを提供すること。

提案手法

• 本稿では、最適化アルゴリズムの最悪ケース収束速度を上限付けるパフォーマンス推定問題を半定値計画法（SDP）を用いて定式化する。
• 目的関数の二次モデルとアルゴリズムの反復点を用いて、勾配法およびニュートン法の最悪ケース挙動を最適化問題として定式化する。
• 滑らかで強く凸関数および自己調和関数の性質（曲率やリプシッツ連続性など）を表す制約をフレームワークに組み込む。
• 不正確な探索方向は、特定の誤差境界を満たすように摂動を導入することでモデル化する。
• パフォーマンス推定問題をSDPとして解くことで、有限回の反復における収束速度のタイトな上界を取得する。
• DroriとTeboulle（2014）の先行研究を一般化し、不正確な手法および新たな関数クラスへと拡張する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで強く凸関数に対する勾配法が不正確なラインサーチのもとで達成可能な最良の最悪ケース収束速度は何か？
• RQ2 半定値計画法によるパフォーマンス推定フレームワークは、不正確な方向を伴う自己調和関数に対するニュートン法の収束をどのように制約するか？
• RQ3 SDPに基づくパフォーマンス推定手法を用いて、不正確な探索方向を伴う短ステップ内点法の複雑度境界を導出できるか？
• RQ4 AbernethyとHazan（2016）が提唱した内点法の最悪ケース複雑度は、このフレームワークを通じてどのように分析されるか？
• RQ5 導出された境界は、これらの手法の既知の理論的および実験的収束速度と比較してどうなるか？

主な発見

• SDPに基づくパフォーマンス推定フレームワークは、滑らかで強く凸および自己調和関数に対する勾配法およびニュートン法のタイトな最悪ケース収束境界を提供する。
• このフレームワークは、収束に及ぼす不正確な探索方向の影響を的確に捉え、このような条件下での複雑度解析を可能にする。
• 不正確な方向を伴う短ステップ内点法に対する新しい最悪ケース複雑度解析が得られ、パフォーマンス推定の適用範囲が実用的な内点法の変種へと拡張された。
• 本手法により、AbernethyとHazan（2016）が提唱した最近の内点法に対する厳密な複雑度境界が導出され、形式的解析を通じてその最悪ケース性能が裏付けられた。
• 半定値計画法によるパフォーマンス推定問題の構造を活用することで、従来の手法よりもタイトな収束速度推定が達成された。