[論文レビュー] The Complexity of Large-scale Convex Programming under a Linear Optimization Oracle

Guanghui Lan|arXiv (Cornell University)|Sep 22, 2013

Sparse and Compressive Sensing Techniques参考文献 46被引用数 86

ひとこと要約

本稿は、線形最適化オラクル（LOオラクル）を用いた凸プログラミング（LCP）手法の下界複雑度を確立し、滑らかで凸な問題において条件付き勾配法（CndG）が最適であることを証明する。また、ネステロフの手法に基づく新たな加速LCP変種—PA-CndGおよびPDA-CndG—を提案し、特にボックス制約付き問題において優れた収束性と数値的性能を示す。

ABSTRACT

This paper considers a general class of iterative optimization algorithms, referred to as linear-optimization-based convex programming (LCP) methods, for solving large-scale convex programming (CP) problems. The LCP methods, covering the classic conditional gradient (CG) method (a.k.a., Frank-Wolfe method) as a special case, can only solve a linear optimization subproblem at each iteration. In this paper, we first establish a series of lower complexity bounds for the LCP methods to solve different classes of CP problems, including smooth, nonsmooth and certain saddle-point problems. We then formally establish the theoretical optimality or nearly optimality, in the large-scale case, for the CG method and its variants to solve different classes of CP problems. We also introduce several new optimal LCP methods, obtained by properly modifying Nesterov's accelerated gradient method, and demonstrate their possible advantages over the classic CG for solving certain classes of large-scale CP problems.

研究の動機と目的

• 滑らかでない、滑らかな、およびサドルポイント型の凸問題を解くLCP手法について、線形最適化オラクル下でのタイトな下界複雑度を確立すること。
• 大規模設定下で、条件付き勾配（CndG）法およびその変種の理論的最適性を形式的に証明すること。
• ネステロフの加速勾配法をLOオラクルフレームワークに適応させることで、新たな最適またはほぼ最適なLCP手法を開発すること。
• 数値実験を通じて、PDA-CndGが特定の大規模問題、特にボックス型制約付き問題において、古典的なCndGおよびPA-CndGを著しく上回ることを示すこと。

提案手法

• 最悪ケース解析を用いて、既存の文献における結果を一般化する形で、LCP手法の下界複雑度を導出する。
• Nesterovの最適な一次順序法フレームワークを応用し、LOオラクル制約に適合するように更新則を変更することで、新たなLCP変種—PA-CndGおよびPDA-CndG—を構築する。
• プライマル・デュアル加速技術を用いてPDA-CndG手法を導入し、構造的制約付き問題における収束性を向上させる。
• 各反復で $\arg\min_{x\in X} \langle p, x \rangle$ の形の部分問題を解く線形最適化オラクルを採用し、高価なプロキマルや射影ステップを回避する。
• LOオラクルモデル下で、滑らかでない、滑らかな、およびサドルポイント問題の各クラスにおける収束速度を分析する。
• 単-simplex、スぺクトラヒドラ、ハイパーキューブ、およびハイパーキューブ-シンプルエクスインタークション上でのQP問題に対する広範な数値実験を通じて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 線形最適化オラクル下で、滑らかでない、滑らかな、およびサドルポイント型の凸問題を解くLCP手法の根本的な下界複雑度は何か？
• RQ2 線形最適化オラクル下で、滑らかな凸問題を解く古典的条件付き勾配（CndG）法は、LCP手法の中で最適か？
• RQ3 ネステロフの加速技術は、LCPフレームワークに効果的に適応可能か？ これにより、より高速に収束するアルゴリズムが得られるか？
• RQ4 新しいLCP変種、すなわちPA-CndGおよびPDA-CndGは、ボックス型制約付きの大規模問題において、CndGおよびPA-CndGと比較してどのように異なるか？
• RQ5 どのような問題構造下で、PDA-CndGは、類似した最悪ケース複雑度境界を持つにもかかわらず、実際の応用で標準的CndGを著しく上回るのか？

主な発見

• CndG法は、LOオラクル下で滑らかな凸問題に対して $\mathcal{O}(1/\epsilon)$ の最適収束レートを達成し、既知の下界と一致する。
• 滑らかでない問題およびサドルポイント問題に対して、本稿では下界複雑度を確立し、特定のLCP変種がほぼ最適な性能を達成することを示す。
• QP問題におけるハイパーキューブおよびハイパーキューブ-シンプルエクスインタークション上では、PDA-CndG法がCndGおよびPA-CndGを最大2桁の速度向上で上回る。
• 数値実験において、PDA-CndGは100反復でCndGが1,000反復で達成する目的関数値に相当する精度に到達し、1〜3桁の精度向上を達成した。
• PDA-CndG法は最適収束レートを維持しながら、特に次元数が増加する際のボックス制約付き問題において、実用的性能が著しく優れている。
• PA-CndGおよびPDA-CndG法は、CndGと同一の最悪ケース複雑度を有するが、ステップサイズおよびモーメンタム戦略の改善により、実際の収束が著しく速い。