[論文レビュー] Conic Optimization via Operator Splitting and Homogeneous Self-Dual Embedding

Brendan O’Donoghue, Eric Chu+2 more|arXiv (Cornell University)|Dec 11, 2013

Advanced Optimization Algorithms Research被引用数 75

ひとこと要約

この論文は、同次自己双対埋め込みに適用された交替方向乗数法（ADMM）を用いた、大規模凸錐最適化のための1次元法を提示する。この手法は、調整パrameterが不要な一方で、プライマルおよびデュアル解、または不可解性の証明を同時に計算でき、内点法がスケーラビリティの限界により失敗する大規模問題においても高速収束を達成する。

ABSTRACT

We introduce a first order method for solving very large convex cone programs. The method uses an operator splitting method, the alternating directions method of multipliers, to solve the homogeneous self-dual embedding, an equivalent feasibility problem involving finding a nonzero point in the intersection of a subspace and a cone. This approach has several favorable properties. Compared to interior-point methods, first-order methods scale to very large problems, at the cost of requiring more time to reach very high accuracy. Compared to other first-order methods for cone programs, our approach finds both primal and dual solutions when available or a certificate of infeasibility or unboundedness otherwise, is parameter-free, and the per-iteration cost of the method is the same as applying a splitting method to the primal or dual alone. We discuss efficient implementation of the method in detail, including direct and indirect methods for computing projection onto the subspace, scaling the original problem data, and stopping criteria. We describe an open-source implementation, which handles the usual (symmetric) non-negative, second-order, and semidefinite cones as well as the (non-self-dual) exponential and power cones and their duals. We report numerical results that show speedups over interior-point cone solvers for large problems, and scaling to very large general cone programs.

研究の動機と目的

• 内点法では到達できない非常に大規模な問題を扱える、スケーラブルな1次元法を、凸錐計画問題に開発すること。
• 問題が可能であればプライマルおよびデュアル解を提供し、そうでなければ不可解性／非有界性の証明を、問題固有の調整を要せず提供すること。
• 同次自己双対埋め込みのロバストネスと、とりわけADMMを用いた1次元作用素分割の効率性を統合すること。
• 非対称錐（指数関数的錐やべき乗錐など）を含む一般の錐計画問題を、効率的かつパrameterフリーに解けるようにすること。

提案手法

• プライマル・デュアル錐計画問題を、部分空間と凸錐の交差に非ゼロ点を求める同次自己双対可解問題に変換する。
• ADMMを同次自己双対埋め込みに適用し、部分空間への射影と錐への射影を交互に実行し、デュアル変数を更新する。
• 各ADMM反復では、線形方程式系の解法と錐への射影を実行するが、射影ステップは錐の種別（例：2次錐、半正定値錐、指数関数的錐）に応じて調整される。
• 問題データの自動スケーリングにより、条件数の改善と収束の向上を図る、パrameterフリーのアプローチを採用する。
• 自己双対構造を活用して、解の構造から自然に不可解性または非有界性を検出する。
• 対称錐および非自己双対錐（指数関数的錐、べき乗錐など）をサポートするオープンソースのC言語実装（SCS）を提供する。

実験結果

リサーチクエスチョン

• RQ1 同次自己双対埋め込みに1次元法を効果的に適用することで、不可解性検出を併せ持つ大規模錐計画問題を解くことは可能か？
• RQ2 スケーラビリティおよび解の精度の観点から、このADMMベースの手法は内点法と比べてどのように性能を発揮するか？
• RQ3 ユーザーによる調整なしに、プライマルおよびデュアル解、または不可解性／非有界性の証明を信頼性高く返すことは可能か？
• RQ4 直接的および間接的線形ソルバーや前処理などの、大規模問題における高速収束を可能にする効率的な実装技術は何か？
• RQ5 この手法は、指数関数的錐やべき乗錐などの非対称錐を含む一般の錐計画問題において、どの程度スケーリング可能か？

主な発見

• 内点法ソルバーよりも最大4,300倍の高速化を達成し、SCSは10^5変数の問題を数秒で解ける。
• 10^5サイズの問題では、SCSは0.9秒で問題を解き、双対ギャップは2.0×10^{-3}であったのに対し、内点法は4.3×10^3秒を要した。
• アルゴリズムは不可解性または非有界性を信頼性高く検出でき、プライマルまたはデュアルが不可解である場合には証明を提供する。
• 問題サイズ10^5以上にもスケーリング可能であり、これまでに解かれた最大規模の一般錐計画問題の報告例がある。
• ADMMステップごとの共役勾配反復回数の平均は、約4.7～6.1の間で安定しており、線形方程式系の効率的解法を示している。
• この手法はパrameterフリーであり、問題データの自動スケーリングにより、ロバストネスと収束速度の両方を向上させている。