[論文レビュー] Sparsity Constrained Minimization via Mathematical Programming with Equilibrium Constraints

Ganzhao Yuan, Bernard Ghanem|arXiv (Cornell University)|Aug 15, 2016

Sparse and Compressive Sensing Techniques参考文献 54被引用数 20

ひとこと要約

本稿では、等式制約を伴う数学的計画問題（MPEC）を用いたスパarsity制約付き最小化の新しいアプローチを提案する。非凸な $̆_0$-ノルム問題を双凸MPECに再定式化する。2つの収束性を保証するアルゴリズム—正確ペナルティ法と交替方向スムージング法—を導入し、特徴選択、画像ノイズ除去、トレンドフィルタリングなど多様な応用分野で最先端の性能を達成した。IHTに基づく手法を上回り、KKT点への収束が保証される。

ABSTRACT

Sparsity constrained minimization captures a wide spectrum of applications in both machine learning and signal processing. This class of problems is difficult to solve since it is NP-hard and existing solutions are primarily based on Iterative Hard Thresholding (IHT). In this paper, we consider a class of continuous optimization techniques based on Mathematical Programs with Equilibrium Constraints (MPECs) to solve general sparsity constrained problems. Specifically, we reformulate the problem as an equivalent biconvex MPEC, which we can solve using an exact penalty method or an alternating direction method. We elaborate on the merits of both proposed methods and analyze their convergence properties. Finally, we demonstrate the effectiveness and versatility of our methods on several important problems, including feature selection, segmented regression, MRF optimization, trend filtering and impulse noise removal. Extensive experiments show that our MPEC-based methods outperform state-of-the-art techniques, especially those based on IHT.

研究の動機と目的

• 一般のスパarsity制約付き最小化問題における $̆_0$-ノルム制約のNP困難性に対処する。
• 反復的硬閾値処理（IHT）のような従来手法の限界を克服する。IHTはしばしば部分最適解を生成する。
• 一般の $̆_0$-制約付き問題を正確に解ける連続最適化手法を開発し、収束保証を付与する。
• 特徴選択、画像修復、インパulseノイズ除去など多様な応用に適用可能な統一的フレームワークを提供する。
• 非凸スパース最適化手法における主要な理論的ギャップである、1次KKT点への収束を保証する。

提案手法

• 変分的特徴表現を用いて $̆_0$ 関数を再定式化し、等価な双凸MPECに変換する。
• 等価ペナルティ法を適用し、均衡制約をペナルティ化することで、滑らかで制約なしの問題に変換する。
• 交替方向法（ADM）を用い、変数ごとに最小化を行い、双対変数を更新することでMPECを解く。
• 非凸設定下での収束性と解の品質を向上させるために、凸初期化戦略を活用する。
• 正確ペナルティ法およびADMスキームの両方について、厳密な解析を通じて1次KKT点への収束を保証する。
• サブプロブレムを $O(n\log n)$ 時間で解ける高速ブレークポイント探索アルゴリズム（MATLAB実装）を統合する。

実験結果

リサーチクエスチョン

• RQ1 MPECに基づく連続最適化フレームワークは、収束保証のもとで一般のスパarsity制約付き問題を効果的に解けるか？
• RQ2 正確ペナルティ法と交替方向法は、$̆_0$-制約付き最小化において性能と収束性の面でどのように比較できるか？
• RQ3 MPECに基づく手法は、特徴選択やスパース制御の両面でIHTベース手法を上回る性能を発揮できるか？
• RQ4 連続緩和技術を用いて、非凸で $̆_0$-制約付き問題に対しKKT点への収束を達成することは可能か？
• RQ5 提案フレームワークは、インパulseノイズ除去やセグメンテッド回帰といった実世界問題においてどのように性能を発揮するか？

主な発見

• MPEC-EPMおよびMPEC-ADM手法は、インパulseノイズ除去において最先端の性能を達成した。特に「lenna」画像ではSNRが0.96を記録し、CVX（0.92）およびQPM（0.94）を上回った。
• 90％のノイズがかかる「blonde」画像において、MPEC-ADMはSNR -0.45を達成し、NI-ADM（-0.62）およびMD-ADM（-0.52）を上回った。
• 特徴選択およびセグメンテッド回帰の分野では、提案手法はIHTベース手法を一貫して上回り、特にバイナリおよびスパース最適化設定で顕著な優位性を示した。
• 正確ペナルティ法および交替方向法の両方が、一般の $̆_0$-制約付き問題に対して初めて1次KKT点への収束を保証した。
• MPEC-ADM手法は、「mandrill」、「jetplane」、「lake」など全テストデータセットで優れた性能を示し、競合手法よりも一貫して高いSNR値を達成した。
• MATLABで実装されたブレークポイント探索アルゴリズムは、サブプロブレムを $O(n\log n)$ 時間で解けるため、MPECフレームワーク内での計算が効率的に行える。