[論文レビュー] Operator Splitting for Conic Optimization via Homogeneous Self-Dual Embedding

Brendan O’Donoghue, Eric Chu+2 more|arXiv (Cornell University)|Dec 11, 2013

Advanced Optimization Algorithms Research被引用数 30

ひとこと要約

本稿では、大規模な凸錐計画問題を解くために、同次自己双対埋め込みに基づく1次オーダー作用素分割法を提案する。問題を可解性問題に再定式化し、交替方向乗数法（ADMM）を適用することで、同時に原始解および双対解、あるいは不可解性／非有界性の証明を計算可能であり、パラメータフリーであり、従来の1次オーダー手法よりも1反復あたりのコストが低く、非常に大規模な問題に対しても効率的にスケーリング可能である。

ABSTRACT

We introduce a first order method for solving very large convex cone programs. The method uses an operator splitting method, the alternating directions method of multipliers, to solve the homogeneous self-dual embedding, an equivalent feasibility problem involving finding a nonzero point in the intersection of a subspace and a cone. This approach has several favorable properties. Compared to interior-point methods, first-order methods scale to very large problems, at the cost of requiring more time to reach very high accuracy. Compared to other first-order methods for cone programs, our approach finds both primal and dual solutions when available or a certificate of infeasibility or unboundedness otherwise, is parameter-free, and the per-iteration cost of the method is the same as applying a splitting method to the primal or dual alone. We discuss efficient implementation of the method in detail, including direct and indirect methods for computing projection onto the subspace, scaling the original problem data, and stopping criteria. We describe an open-source implementation, which handles the usual (symmetric) non-negative, second-order, and semidefinite cones as well as the (non-self-dual) exponential and power cones and their duals. We report numerical results that show speedups over interior-point cone solvers for large problems, and scaling to very large general cone programs.

研究の動機と目的

• 大規模な凸錐計画問題に対する内点法のスケーラビリティの限界を克服すること。
• 原始解および双対解、または不可解性／非有界性の証明を同時に提供する1次オーダー法を開発すること。
• パラメータフリーであり、1反復あたりの計算コストを低く保つこと。
• 非負、2次錐、半正定値錐、指数関数的錐、および累乗錐を含む問題を効率的に解けるようにすること。

提案手法

• 錐計画問題を同次自己双対埋め込みに再定式化し、部分空間と錐の交差上での可解性問題に変換する。
• 埋め込まれた可解性問題を解くために、交替方向乗数法（ADMM）を適用する。
• 問題の構造に応じて、直接法または反復法を用いて部分空間への射影を計算する。
• 条件数を改善し収束を加速するために、問題データをスケーリングする。
• 同次自己双対解から導出される原始および双対の不可解性測度に基づいて停止基準を設定する。
• オープンソース実装により、対称錐（例：2次錐、半正定値錐）および非自己双対錐（例：指数関数的錐、累乗錐）とその双対をサポートする。

実験結果

リサーチクエスチョン

• RQ1 大規模な錐計画問題を効率的に解くことができる1次オーダー法を設計できるか？ その際、精度と頑健性を維持できるか？
• RQ2 1つのアルゴリズムが同時に原始解および双対解、または不可解性／非有界性の証明を回復できるか？
• RQ3 データスケーリングおよび射影計算の影響が、収束性と性能に与える影響は何か？
• RQ4 実際の問題において、内点ソルバーと比較して、本手法は大規模問題に対してどのように性能を発揮するか？
• RQ5 指数関数的錐や累乗錐などの非自己双対錐に対しても、本手法は効率的に実装可能か？

主な発見

• 本手法は、大規模な錐計画問題において、内点法ソルバーに比べて顕著な高速化を達成し、優れたスケーラビリティを示した。
• 問題が可解の場合、原始解および双対解の両方を正しく計算できた。不可解性または非有界性が成立する場合には、それらの証明を提供した。
• 1反復あたりのコストは、原始または双対問題に分割法を適用するのと同等であり、計算的に効率的であった。
• パラメータフリーであるため、ステップサイズなどの調整パラメータの設定が不要であった。
• 数値実験により、非自己双対錐（例：指数関数的錐、累乗錐）を含むさまざまな錐タイプにおいても頑健な性能を確認した。
• オープンソース実装により、広範な錐タイプをサポートしており、非常に大規模な問題に対しても効果的にスケーリング可能であった。