[論文レビュー] Disciplined Convex-Concave Programming

Xinyue Shen, Steven Diamond+2 more|arXiv (Cornell University)|Apr 10, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 10

ひとこと要約

本稿では、差分凸（DC）構造を持つ非凸問題を扱えるように、分類凸プログラミング（DCP）を拡張する枠組みである、体系的非凸・非凹プログラミング（DCCP）を紹介する。ドメインに特化した関数処理と勾配に基づく凸化を統合することで、ペナルティに基づく凸・非凸プロセスを用いて、自動的かつ信頼性の高いDCプログラムの解法を可能にする。このフレームワークは、CVXPYを拡張するPythonライブラリとして実装されており、実世界の応用におけるより高い耐障害性とスケーラビリティを実現している。

ABSTRACT

In this paper we introduce disciplined convex-concave programming (DCCP), which combines the ideas of disciplined convex programming (DCP) with convex-concave programming (CCP). Convex-concave programming is an organized heuristic for solving nonconvex problems that involve objective and constraint functions that are a sum of a convex and a concave term. DCP is a structured way to define convex optimization problems, based on a family of basic convex and concave functions and a few rules for combining them. Problems expressed using DCP can be automatically converted to standard form and solved by a generic solver; widely used implementations include YALMIP, CVX, CVXPY, and Convex.jl. In this paper we propose a framework that combines the two ideas, and includes two improvements over previously published work on convex-concave programming, specifically the handling of domains of the functions, and the issue of nondifferentiability on the boundary of the domains. We describe a Python implementation called DCCP, which extends CVXPY, and give examples.

研究の動機と目的

• 既存の凸・非凸プログラミング（CCP）手法の限界、特に定義域違反や関数境界での非微分性に起因する失敗を解消すること。
• DCPの構造的構文とCCPの反復的凸化アプローチを組み合わせることで、DCPを非凸問題に拡張すること。
• 定義域準拠と部分微分の処理を保証する、信頼性の高い自動フレームワークを構築し、差分凸（DC）最適化問題を解くこと。
• CVXPYを拡張し、ユーザーフレンドリーなPython実装（DCCP）を提供することで、DCプログラムのエンドツーエンドのモデリングと解法を可能にすること。
• フィルタ設計、スパース特異ベクトル、符号制約付き共分散推定といった実世界の問題において、フレームワークの有効性を示すこと。

提案手法

• 現在の反復点における一階テイラー近似（凸上界）を用いて、非凸項を置き換えるペナルティベースの凸・非凸プロセス（CCP）を提案する。
• すべての関数の定義域に現在の反復点が含まれることを保証することで、ドメインに特化した凸化を導入し、無効な評価を回避する。
• 関数が微分不能の場合に勾配の代わりに部分微分を用いることで非微分性に対処し、近似の下界性を維持する。
• 制約を緩和し、違反に対してペナルティを課すためのスラック変数の定式化を導入することで、実際の収束性と妥当性を向上させる。
• ペナルティパラメータτに対して、幾何的に増加するラインサーチに類似した更新を採用し、反復の過程で制約の満たしを強制する。
• CVXPYの上位に構築されたPythonライブラリ（DCCP）にフレームワークを統合し、ユーザーがDCP構文を用いてDCプログラムを記述し、自動再定式化とソルバーディスpatchを通じて解けるようにする。

実験結果

リサーチクエスチョン

• RQ1 分類凸プログラミングの原則を、構造と自動化を保ったまま非凸差分凸（DC）プログラムに拡張するにはどうすればよいか？
• RQ2 関数が定義域外で評価されたり、非微分的である場合に、CCPにおける数値的耐障害性を確保するメカニズムは何か？
• RQ3 体系的で構文制約付きのフレームワークは、実際のDC最適化の信頼性と使いやすさを向上させられるか？
• RQ4 提案されたドメインに特化したおよび部分微分に基づくCCPは、標準的なCCPと比較して収束性と妥当性においてどのように異なるか？
• RQ5 DCCPは、最小限のユーザー介入で実世界の非凸問題をどれほど効果的に解けるか？

主な発見

• DCCPフレームワークは、定義域チェックと部分微分に基づく凸化を組み込むことで、DCプログラムにおける定義域違反や非微分性に対処し、アルゴリズムの失敗を防止した。
• スラック変数と適応的τ更新を備えたペナルティCCP法は、初期段階で制約が違反していても、緩い条件下で停留点への収束を保証する。
• DCCPにおける実装により、ユーザーはCVXPYのDCP構文を用いて複雑なDC問題を記述でき、自動的に解ける凸部分問題に再定式化される。
• ローパassingフィルタ設計の実験では、DCCPは通過域と阻止域のマグニチュード制約を満たす妥当な解を、最小限のオーバーシュートで得ており、実用的有効性を示した。
• スパース特異ベクトルの計算では、DCCPはℓ₁およびℓ₂制約下で||Ax||₂を最小化または最大化するスパースなベクトルを特定し、低次元ケースではグローバル最適解と一致した。
• 符号制約付きガウス共分散推定では、DCCPは経験的共分散行列よりも著しく優れた推定を生成し、事前知識としての構造的制約の有効性を検証した。