[論文レビュー] Disciplined Multi-Convex Programming

Xinyue Shen, Steven Diamond+3 more|arXiv (Cornell University)|Sep 12, 2016

Advanced Optimization Algorithms Research参考文献 27被引用数 4

ひとこと要約

本稿では、区間凸性を自動で検証できるルールベースのモデリングフレームワークであるDisciplined Multi-Convex Programming（DMCP）を紹介する。これは、区間凸プログラミング（DCP）の原則を拡張することで、最適化問題における多変数凸性を自動的に検証する。DMCPは、多変数凸問題を構造的かつ検証可能に定式化でき、ブロック座標降下法を介してソルバーと統合され、非負値行列分解や双線形制御といったベンチマーク問題において使いやすさと競争力ある性能を示している。

ABSTRACT

A multi-convex optimization problem is one in which the variables can be partitioned into sets over which the problem is convex when the other variables are fixed. Multi-convex problems are generally solved approximately using variations on alternating or cyclic minimization. Multi-convex problems arise in many applications, such as nonnegative matrix factorization, generalized low rank models, and structured control synthesis, to name just a few. In most applications to date the multi-convexity is simple to verify by hand. In this paper we study the automatic detection and verification of multi-convexity using the ideas of disciplined convex programming. We describe an implementation of our proposed method that detects and verifies multi-convexity, and then invokes one of the general solution methods.

研究の動機と目的

• 機械学習、信号処理、制御分野で一般的な最適化問題における多変数凸性の自動検出と検証の課題に対処すること。
• 区間凸プログラミング（DCP）のパラダイムを多変数凸問題に拡張し、変数ブロックを固定した際の凸性の形式的検証を可能にすること。
• 問題の指定を簡素化し、ソルバーに構造を露呈する、体系的でルールベースのモデリングフレームワークを提供すること。
• 多変数凸性を検証し、スラック変数を用いた不整合処理を伴うブロック座標降下法でヒューリスティックに問題を解くソフトウェアツール（DMCP）を実装すること。

提案手法

• 他の変数を固定した場合に任意の変数サブセットについて凸性が保証されるように、DCPを拡張した新しいルールセット（DMCP）を提案する。
• DCPに類似したルールを再帰的に適用することで、任意の変数固定条件下での問題の凸性を分析・検証する効率的アルゴリズムを開発する。
• CVXPYと統合し、ブロック座標降下法（BCD）を介して問題を解析・検証・解法するPythonパッケージを構築するDMCPを実装する。
• 不整合性への耐性を高め、非凸設定下での収束性を向上させるために、スラック変数と一般化不等式をBCDに統合する。
• 関数および制約の階層的分解を用いて、他の変数が固定された状態での各変数ブロックにおける凸性を確認する。
• 自動微分と記号的解析を用いて、手動による導出を伴わずに凸性を検証する。

実験結果

リサーチクエスチョン

• RQ1 最適化問題における多変数凸性を自動で検証できる体系的プログラミングフレームワークを設計できるか？
• RQ2 区間凸プログラミング（DCP）の原則を、構造的な変数分割を持つ多変数凸問題にどのように拡張できるか？
• RQ3 自動凸性検証の導入が、多変数凸最適化モデルの使いやすさと正しさに与える影響は何か？
• RQ4 このようなフレームワークのソフトウェア実装は、実世界の問題においてカスタムソルバーと比較して競争力ある性能を達成できるか？

主な発見

• DMCPフレームワークは、非負値行列分解、双線形制御、抵抗値推定といった広範な問題において、形式的保証のもとで多変数凸性を成功裏に検証した。
• CVXPYを拡張したPythonパッケージ（DMCP）の実装により、ユーザーは高水準で人間が読みやすい構文で問題を指定しつつ、構造的正しさを保証できる。
• 数値結果から、DMCPは非負値行列分解のようなカスタムソルバーと同等の解の品質を達成していることが示された。例えば、D.C.モーターのブレーキ制御問題では、線形制御系よりもブレーキが速くなった。
• BCDソルバーにおけるスラック変数の使用により、不整合への耐性が向上し、非凸設定下でも収束が可能になった。
• 手動による検証が複雑またはミスを誘発する可能性がある問題においても、DMCPは多変数凸構造を自動で検出できる。
• 100ステップの双線形制御例（M=8）において、変数数が数百に達する問題に対してもスケーリング可能であることが実証された。