[論文レビュー] Sparse Approximation via Penalty Decomposition Methods

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|May 10, 2012

Sparse and Compressive Sensing Techniques参考文献 47被引用数 12

ひとこと要約

本稿では、一般の $l_0$ 最小化問題を解くためのペナルティ分解（PD）法を提案し、ブロック座標降下（BCD）を用いて逐次的なペナルティ部分問題を解く。反復点列の任意の蓄積点が一次最適性条件を満たすことが確立され、凸性の仮定の下では、そのような点が局所的最小解であることが示された。圧縮センシング、スパースなロジスティック回帰、スパースな逆共分散選択の分野において、従来の手法と比較して優れた解の品質と高速性を示した。

ABSTRACT

In this paper we consider sparse approximation problems, that is, general $l_0$ minimization problems with the $l_0$-"norm" of a vector being a part of constraints or objective function. In particular, we first study the first-order optimality conditions for these problems. We then propose penalty decomposition (PD) methods for solving them in which a sequence of penalty subproblems are solved by a block coordinate descent (BCD) method. Under some suitable assumptions, we establish that any accumulation point of the sequence generated by the PD methods satisfies the first-order optimality conditions of the problems. Furthermore, for the problems in which the $l_0$ part is the only nonconvex part, we show that such an accumulation point is a local minimizer of the problems. In addition, we show that any accumulation point of the sequence generated by the BCD method is a saddle point of the penalty subproblem. Moreover, for the problems in which the $l_0$ part is the only nonconvex part, we establish that such an accumulation point is a local minimizer of the penalty subproblem. Finally, we test the performance of our PD methods by applying them to sparse logistic regression, sparse inverse covariance selection, and compressed sensing problems. The computational results demonstrate that our methods generally outperform the existing methods in terms of solution quality and/or speed.

研究の動機と目的

• 一般の $l_0$ 最小化問題を解くという挑戦に取り組むこと。これらはNP困難であり、効率的なグローバル解法が存在しない。
• 非凸的かつ組合せ的な性質を有する $l_0$-ノルム最小化問題を扱える収束性を保証するアルゴリズムフレームワークを構築すること。
• やや弱い仮定の下でも、提案されたペナルティ分解（PD）法の理論的収束保証を確立すること。
• PD法が、スパース学習の代表的応用分野において、既存手法を上回る実用的優位性を示すこと。

提案手法

• PD法は、$l_0$-ノルムを正確なペナルティ定式化により罰則化することで、$l_0$ 最小化問題を繰り返し解くペナルティ部分問題の系列に変換する。
• 各ペナルティ部分問題は、変数 $x$ と $l_0$-ノルムを表す補助変数の間で交互に最適化を行うブロック座標降下（BCD）法により解かれる。
• この手法は、$l_0$-ノルムの制約を緩和するための正確なペナルティ関数を用いる。これにより、非凸問題が滑らかさの高い部分問題の系列に変換される。
• 収束解析は、標準的な仮定の下で実施される：$f$、$g$、$h$ は連続的に微分可能であり、$h$ がアフィン関数であるとき、$f$ と $g$ は凸である。
• 数値実験において、計算効率を向上させるために、異なるスパースリティレベル間でウォームスタート戦略を適用する。
• アルゴリズムは、圧縮センシング、スパースなロジスティック回帰、スパースな逆共分散選択という3つの実世界問題に適用された。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標降下を用いたペナルティ分解法は、一般の $l_0$ 最小化問題に対して、一次最適解へ収束するか？
• RQ2 PD反復点列の蓄積点が、元の問題の局所的最小解に対応する条件は何か？
• RQ3 解の品質と計算速度の観点から、PD法はIHT や GPSR といった既存手法と比べてどのように性能を発揮するか？
• RQ4 $l_p$-ノルムの緩和アプローチは、$p \in (0,1]$ であっても、真のスパース解を回復できない場合があるか？

主な発見

• PD法によって生成される点列の任意の蓄積点は、$l_0$ 最小化問題の一次最適性条件を満たす。
• もし $f$ と $g$ が凸であり、$h$ がアフィン関数であれば、PD反復点列の任意の蓄積点は、元の問題の局所的最小解である。
• 与えられたペナルティ部分問題に対するBCD反復点列の任意の蓄積点は、その部分問題のサドルポイントである。
• 同じ凸性仮定のもとで、そのBCD蓄積点は、ペナルティ部分問題の局所的最小解でもある。
• 圧縮センシングにおいて、PD法はGPSRよりも顕著に低い残差を達成し、特に $A$ が正規直交行を有する場合、IHTと同等またはそれ以上の性能を示した。
• 解の品質（低い残差）においてPD法はGPSRを上回り、精度においてIHTと同等またはそれを上回り、特に高スパースリティ領域においても競争力のある速度を維持した。