[論文レビュー] A Semismooth Newton Method for Fast, Generic Convex Programming

Alnur Ali, Eric Wong+1 more|arXiv (Cornell University)|May 2, 2017

Advanced Optimization Algorithms Research参考文献 3被引用数 4

ひとこと要約

この論文は、凸錐最適化問題のための高速で汎用的なソルバ―であるNewton-ADMMを紹介する。この手法は、交替方向乗数法（ADMM）と半スムーズニュートン法を組み合わせることで、2次収束を達成する。ADMMの反復を固定点方程式に再定式化し、非滑らかニュートン反復を適用することで、標準的なADMMを上回る収束速度を実現するとともに、調整パラメータの必要を最小限に抑え、不実行性の証明も保持する。

ABSTRACT

We introduce Newton-ADMM, a method for fast conic optimization. The basic idea is to view the residuals of consecutive iterates generated by the alternating direction method of multipliers (ADMM) as a set of fixed point equations, and then use a nonsmooth Newton method to find a solution; we apply the basic idea to the Splitting Cone Solver (SCS), a state-of-the-art method for solving generic conic optimization problems. We demonstrate theoretically, by extending the theory of semismooth operators, that Newton-ADMM converges rapidly (i.e., quadratically) to a solution; empirically, Newton-ADMM is significantly faster than SCS on a number of problems. The method also has essentially no tuning parameters, generates certificates of primal or dual infeasibility, when appropriate, and can be specialized to solve specific convex problems.

研究の動機と目的

• 凸錐最適化問題のための高速でスケーラブルかつ汎用的なソルバ―の開発。
• 高い精度に達するまでの標準ADMM手法の遅い収束を克服すること。
• 半スムーズニュートン法を活用して収束を加速しつつ、ADMMのロバスト性と不実行性検出能力を維持すること。
• ユーザーによる調整を最小限に抑え、双対証明を保持し、多様な錐問題タイプに適応可能な手法の提供。

提案手法

• ADMMの固定点反復を非滑らか方程式系に再定式化する。
• 固定点方程式を解くために、切り捨てられた半スムーズニュートン法を適用し、超線形収束を実現する。
• 半スムーズ作用素の理論を用いて、正則性条件下での2次収束を正当化する。
• スケーラビリティと不実行性検出能力を維持するために、Splitting Cone Solver（SCS）フレームワークにこの手法を統合する。
• 指数関数的錐を含む、錐制約から生じる非滑らか作用素の一般化されたヤコビ行列を構築する。
• 調整のためのラインサーチや広範なパrameterチューニングを回避するよう、手法がロバストであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 半スムーズニュートン法を、一般の凸錐最適化問題のADMM加速に効果的に適用できるか？
• RQ2 理論的に予測されるように、提案されたNewton-ADMM手法は実際の問題において2次収束を達成するか？
• RQ3 ベンチマーク問題において、元のSCSソルバーよりもNewton-ADMMは速度と精度で優れているか？
• RQ4 実世界の応用において求められるように、この手法はプライムまたは双対不実行性を信頼性高く検出できるか？
• RQ5 標準ADMMや内点法と比較して、Newton-ADMMはユーザーによる調整の必要をどの程度低減するか？

主な発見

• 正則性条件下でNewton-ADMMは2次収束を達成し、標準ADMMの線形収束を著しく上回る。
• 実験的に、線形計画、2次錐計画、半正定値計画を含む多様な凸錐問題において、SCSよりもNewton-ADMMは著しく高速である。
• 調整パrameterがほとんど不要であるため、多様な問題例にわたって使いやすく、ロバストである。
• プライムまたは双対不実行性の証明を保持しており、モデルエラーの診断に不可欠である。
• 特定の凸問題に特化して効率的に解けるようにカスタマイズ可能であり、その汎用性と適応性を示している。
• 理論的分析により、半スムーズ作用素理論が錐最適化に拡張され、手法の収束行動に対する厳密な基礎が提供された。