[論文レビュー] Exact penalty decomposition method for zero-norm minimization based on MPEC formulation

Shujun Bi, Xiaolan Liu+1 more|arXiv (Cornell University)|Dec 15, 2014

Sparse and Compressive Sensing Techniques参考文献 31被引用数 4

ひとこと要約

本稿は、ゼロノルム最小化問題を数学的計画問題としての均衡制約（MPEC）に再定式化することにより、正確なペナルティ分解法を提案する。正確なペナルティ定式化を確立し、L-BFGS や半スムーズニュートン-CG を用いた部分プロキシマル点法を用いて、有限個の重み付き $l_1$-ノルム部分問題を解く分解アルゴリズムを開発した。この方法は、零空間条件の下でグローバル最適性を達成し、回復性と計算効率の面で既存のソルバーを上回る性能を示す。

ABSTRACT

We reformulate the zero-norm minimization problem as an equivalent mathematical program with equilibrium constraints and establish that its penalty problem, induced by adding the complementarity constraint to the objective, is exact. Then, by the special structure of the exact penalty problem, we propose a decomposition method that can seek a global optimal solution of the zero-norm minimization problem under the null space condition in [M. A. Khajehnejad et al. IEEE Trans. Signal. Process., 59(2011), pp. 1985-2001] by solving a finite number of weighted $l_1$-norm minimization problems. To handle the weighted $l_1$-norm subproblems, we develop a partial proximal point algorithm where the subproblems may be solved approximately with the limited memory BFGS (L-BFGS) or the semismooth Newton-CG. Finally, we apply the exact penalty decomposition method with the weighted $l_1$-norm subproblems solved by combining the L-BFGS with the semismooth Newton-CG to several types of sparse optimization problems, and compare its performance with that of the penalty decomposition method [Z. Lu and Y. Zhang, SIAM J. Optim., 23(2013), pp. 2448- 2478], the iterative support detection method [Y. L. Wang and W. T. Yin, SIAM J. Sci. Comput., 3(2010), pp. 462-491] and the state-of-the-art code FPC_AS [Z. W. Wen et al. SIAM J. Sci. Comput., 32(2010), pp. 1832-1857]. Numerical comparisons indicate that the proposed method is very efficient in terms of the recoverability and the required computing time.

研究の動機と目的

• 非凸性と不連続性のため NP 困難であるゼロノルム最小化問題を解くという課題に対処すること。
• 零空間条件の下でグローバル収束性を示すアルゴリズムを構築し、最適解を求めるここと。
• ペナルティ分解法や反復的サポート検出法を改善し、回復性を高めるとともに計算時間を短縮すること。
• L-BFGS および半スムーズニュートン-CG を用いた不正確な部分問題解法を用いて、重み付き $l_1$-ノルム最小化の効率的かつ効果的な部分問題ソルバーを設計すること。

提案手法

• ゼロノルムの変分的特徴付けを用いて、ゼロノルム最小化問題を同等の MPEC に再定式化すること。
• ペナルティパラメータが閾値を超えると、ペナルティ問題のグローバル最適解が元の問題の解と一致する正確なペナルティ定式化を確立すること。
• 有限個の重み付き $l_1$-ノルム最小化部分問題を解くことで、ゼロノルム問題のグローバル解を近似する分解法を提案すること。
• 各重み付き $l_1$-ノルム部分問題を解くための部分プロキシマル点法（PPA）を開発し、L-BFGS や半スムーズニュートン-CG を用いて不正確な解を許容すること。
• 部分問題ソルバーを分解フレームワークに統合し、正確なペナルティ分解法（アルゴリズム 5.1）を構築すること。
• [23] で提示された零空間条件を、ゼロノルム問題のグローバル最適解を回復できる十分条件として用いること。

実験結果

リサーチクエスチョン

• RQ1 ゼロノルム最小化問題は、MPEC に同等に再定式化可能であり、正確なペナルティ法の適用が可能か？
• RQ2 ペナルティパラメータが十分に大きい場合、MPEC の正確なペナルティ定式化は、元のゼロノルム問題のグローバル最適解をもたらすか？
• RQ3 重み付き $l_1$-ノルム部分問題を解く分解法は、零空間条件の下でグローバル最適性を達成できるか？
• RQ4 回復性と計算時間の観点から、提案手法は FPC_AS や ISDM と比較してどの程度優れているか？
• RQ5 分解法における部分問題は、不正確な部分問題解法を用いて L-BFGS および半スムーズニュートン-CG で効率的に解けるか？

主な発見

• MPEC の正確なペナルティ定式化は、ペナルティパラメータが閾値を超えると、元のゼロノルム問題のグローバル最適解と一致する。
• 提案された分解法は、[23] の零空間条件の下で、ゼロノルム問題のグローバル最適解を回復できる。
• アルゴリズム 5.1 は、FPC_AS よりも優れた回復性を示し、Sparco コレクションの難易度の高いインスタンスを含むすべてのテスト問題において、ISDM と同等または優れた性能を示した。
• 計算時間の観点では、アルゴリズム 5.1 は ISDM よりも顕著に高速であり、特に大規模かつスパースな問題において顕著であった。
• 「jitter」と「spiketrn」問題では、アルゴリズム 5.1 はそれぞれ 0.36 秒および 1.45 秒で処理を完了したが、ISDM はそれぞれ 4.82 秒を要し、より高い精度を達成した。
• 24 個のテスト問題のうち 18 個で最小の回復誤差を達成し、特に「jitter」と「spiketrn」では 1.27e-7 および 1.94e-9 の誤差を記録し、FPC_AS や ISDM を上回った。