[論文レビュー] A Survey of Recent Scalability Improvements for Semidefinite Programming with Applications in Machine Learning, Control, and Robotics

Anirudha Majumdar, Georgina Hall+1 more|arXiv (Cornell University)|Aug 14, 2019

Sparse and Compressive Sensing Techniques参考文献 113被引用数 11

ひとこと要約

本サーベイは、機械学習、制御、ロボット工学分野におけるスケーラビリティ向上のための半定値計画法（SDP）の最近の進展をレビューする。4つの主要な戦略——スパarsityおよび対称性の活用、Burer-Monteiro法およびFrank-Wolfe法による低ランク近似、ADMMおよび増大ラグランジュ法、DSOS/SDSOSを用いた保守的近似——を統合し、理論的保証と実用的性能を維持したまま大規模SDPを効率的に解く仕組みを示している。

ABSTRACT

Historically, scalability has been a major challenge to the successful application of semidefinite programming in fields such as machine learning, control, and robotics. In this paper, we survey recent approaches for addressing this challenge including (i) approaches for exploiting structure (e.g., sparsity and symmetry) in a problem, (ii) approaches that produce low-rank approximate solutions to semidefinite programs, (iii) more scalable algorithms that rely on augmented Lagrangian techniques and the alternating direction method of multipliers, and (iv) approaches that trade off scalability with conservatism (e.g., by approximating semidefinite programs with linear and second-order cone programs). For each class of approaches we provide a high-level exposition, an entry-point to the corresponding literature, and examples drawn from machine learning, control, or robotics. We also present a list of software packages that implement many of the techniques discussed in the paper. Our hope is that this paper will serve as a gateway to the rich and exciting literature on scalable semidefinite programming for both theorists and practitioners.

研究の動機と目的

• 機械学習、制御、ロボット工学の分野における大規模応用においてその利用を制限する、半定値計画法（SDP）における長年のスケーラビリティ課題に対処すること。
• 構造の活用、低ランク近似、保守的緩和といった最近の技術を体系的に分類・比較し、SDPのスケーラビリティを向上させる手法を整理すること。
• 理論家および実務家向けに、スケーラブルなSDPに関する文献への統合的入門を提供し、応用例およびソフトウェアリソースを併記すること。
• 現代のSDPソルバにおける計算効率、解の精度、理論的保証の間のトレードオフを浮き彫りにすること。

提案手法

• 弦的スパarsityおよび顔削減を用いて、SDP制約におけるスパarsityおよび対称性を活用し、問題サイズと計算コストを低減すること。
• Burer-Monteiro因子分解を適用して、低ランク行列上の非凸問題に再定式化し、リーマン幾何学的および増大ラグランジュ最適化を効率的に実行すること。
• Frank-Wolfe型アルゴリズムを用いて、収束保証のもとで低ランク解を反復的に構築し、特にスパースまたは構造的問題に対して効果的であること。
• ADMMおよび増大ラグランジュ法を実装し、大規模SDPをより小さな取り扱いやすい部分問題に分解することで、メモリ効率と並列処理を向上させること。
• 2次錐計画および線形計画に類するコンパクトな緩和としてのDSOSおよびSDSOSプログラムを用いてSDPを近似し、計算速度とスケーラビリティを向上させるが、若干の保守的近似を伴う。
• DSOS/SDSOS近似を反復的に改善するための適応的基底変換およびカラム生成を統合し、完全なSDPの解法コストを負担せずに解の品質を向上させること。

実験結果

リサーチクエスチョン

• RQ1 SDP制約におけるスパarsityおよび対称性は、どのようにして計算複雑性とメモリ使用量を低減するために活用できるか？
• RQ2 最適性および収束保証を維持しつつ、低ランク近似解を効率的に計算できる範囲はどの程度か？
• RQ3 ADMMおよび増大ラグランジュ法は、大規模SDPに効果的に適用可能であり、スケーラビリティと収束性を向上させることができるか？
• RQ4 SDPをDSOSまたはSDSOS緩和に置き換えた場合、スケーラビリティと解の保守的性質の間のトレードオフはどのようなものか？
• RQ5 DSOS/SDSOS手法に対する適応的改善は、完全なSDPの解法コストを負担せずに、解の品質をどのように向上させるか？

主な発見

• スパarsityおよび対称性の活用により、多項式最適化や制御で生じる構造的スパarsityパターンを有する問題では、SDPの解法時間は桁違いに短縮される。
• リーマン幾何学的最適化を用いたBurer-Monteiro法は、2次臨界点への収束を達成し、低ランク解を有する大規模SDPに対して効果的である。
• Frank-Wolfeに基づく手法、特にHazanのアルゴリズムは、部分的にスパースまたは低ランク構造を持つ問題に対して、部分線形収束を示し、特に効果的である。
• ADMMベースのソルバ（SCSやPajaritoなど）は、問題を分解し部分問題を反復的に解くことで、大規模SDPにおいて高いスケーラビリティを達成している。
• DSOSおよびSDSOS緩和は、多項式時間計算量を有し、ニューラルネットワークの検証やロバスト制御問題の解法において、SDPのスケーラブルな代替手段として効果的である。
• DSOS/SDSOSにおける適応的基底変換およびカラム生成は、解の品質を顕著に向上させ、完全なSDP解法のコストを負担せずに、より緊密な近似を可能にしている。