[論文レビュー] A General System for Heuristic Solution of Convex Problems over Nonconvex Sets

Steven Diamond, Reza Takapoui+1 more|arXiv (Cornell University)|Jan 27, 2016

Advanced Optimization Algorithms Research参考文献 91被引用数 20

ひとこと要約

本稿では、凸リラクゼーション、凸制限、局所近傍探索、ADMMを用いて、非凸制約を伴う凸最適化問題を解く一般化されたヒューム除理フレームワークを提示する。この手法はNCVXパッケージに実装されており、微調整を最小限に抑え、多様な非凸問題に対して高品質な近似解を効率的に得られる。混合整数計画、基数制約付き問題、グラフ同型性、位相再構成、Sudokuなど、幅広い分野で優れた性能を示した。

ABSTRACT

We describe general heuristics to approximately solve a wide variety of problems with convex objective and decision variables from a nonconvex set. The heuristics, which employ convex relaxations, convex restrictions, local neighbor search methods, and the alternating direction method of multipliers (ADMM), require the solution of a modest number of convex problems, and are meant to apply to general problems, without much tuning. We describe an implementation of these methods in a package called NCVX, as an extension of CVXPY, a Python package for formulating and solving convex optimization problems. We study several examples of well known nonconvex problems, and show that our general purpose heuristics are effective in finding approximate solutions to a wide variety of problems.

研究の動機と目的

• 微調整をほとんど必要とせず、多様な問題クラスに適用可能な、非凸制約を伴う凸最適化問題を解く一般化されたヒューリスティックの開発。
• 構造的制約を持つ非凸問題の収束性と解の品質を向上させるために、凸リラクゼーションと制限を活用すること。
• 凸最適化技術とヒューリスティックな局所探索、ADMMを組み合わせることで、困難な非凸問題を効率的に解けるようにすること。
• 高レベルインターフェースを通じてアクセス可能な統一的かつ拡張可能なフレームワークを提供すること。CVXPYに実装されたNCVXパッケージとして実装。
• 混合整数計画や組合せ最適化タスクを含む、幅広いベンチマーク非凸問題におけるこの手法の有効性を示すこと。

提案手法

• 非凸集合 $\mathcal{C}$ の凸リラクゼーション（例：$\{0,1\}^q$ の場合の $0 \leq z_i \leq 1$）を用いて下界を生成し、収束性を向上させる。
• 実行可能点における凸制限を適用して局所探索をガイドし、反復点が非凸集合に近い位置に保たれるようにする。
• 非凸集合内の近接可能な実行可能点を探索するために、離散的距離計測を用いた局所近傍探索を実施する。
• ADMM（交替方向乗数法）を用いてリラクゼーションされた部分問題を解き、分解と効率的計算を可能にする。
• フレームワークはNCVXとして実装されており、CVXPYの拡張として、射影または制限オラクルを介して非凸制約を含む問題を定義可能である。
• ベースラインとして relax-round-polish ヒューリスティックが用いられるが、複雑な非凸問題ではNC-ADMMがより効果的であることが示された。

実験結果

リサーチクエスチョン

• RQ1 非凸制約を伴う凸最適化問題を解く一般化されたヒューリスティックシステムを、凸最適化プリミティブのみを用いて開発できるか？
• RQ2 凸リラクゼーションと制限は、非凸問題の収束性と解の品質を向上させるのにどの程度有効か？
• RQ3 ADMMに基づく分解と局所近傍探索は、困難な非凸問題において、標準的な relax-round-polish ヒューリスティックを上回る性能を示せるか？
• RQ4 多様な非凸問題クラスにわたって最小限の調整で動作する統一的フレームワークをどの程度構築できるか？
• RQ5 グラフ同型性、位相再構成、Sudoku といった問題を、高品質な近似解で信頼性高く解くことができるか？

主な発見

• NC-ADMMは、テストされたすべてのケース（Peterson、イコスアヘドロン、ドデカヘドロンなど）で同型なグラフを関連付ける置換行列を正しく特定した。リラックス問題に一意でない解が存在する場合でも同様に成功した。
• relax-round-polish ヒューリスティックは、テストされたすべてのグラフ同型性問題で解を発見できなかったが、NC-ADMMは成功した。これにより、より優れたロバストネスを示した。
• 位相再構成問題では、凸リラクゼーションとADMMを活用して、位相のみのフーリエ測定値から信号を効果的に回復できた。
• Sudokuパズルは、2値変数と基数制約を用いた混合整数凸計画問題として定式化され、正しい解が得られた。
• リグレッサー選択などの基数制約付き凸問題において、$\|z\|_1 \leq kM$ を凸リラクゼーションとして用いることで、本手法は優れた性能を示した。
• NCVXパッケージにより、非凸集合の取り扱いの複雑さを抽象化し、自動的かつユーザーフレンドリーなヒューリスティクスの実装が可能になった。