[論文レビュー] $NP/CLP$ Equivalence: A Phenomenon Hidden Among Sparsity Models for Information Processing

Jigen Peng, Shigang Yue+1 more|arXiv (Cornell University)|Jan 9, 2015

Sparse and Compressive Sensing Techniques参考文献 14被引用数 4

ひとこと要約

本稿は、NP困難な $l_0$-ノルム最小化問題 ($P_0$) と連続的 $l_p$-ノルム最小化問題 ($P_p$) の間で、$0 < p < p^*(A,b)$ の範囲で新たな同等性を確立する。$p$ が十分に小さいとき、$P_p$ のすべての解が $P_0$ の解であることを証明する。主な貢献は、この現象を「NP/CLP同等性」として形式化し、問題固有の同等性定数 $p^*(A,b)$ を導入したことである。この定数は、$P_p$ がスパース解を信頼性高く回復できる $p$ の値の範囲を定量化する。

ABSTRACT

It is proved in this paper that to every underdetermined linear system $Ax=b$ there corresponds a constant $p(A,b)&gt;0$ such that every solution to the $l_p$-norm minimization problem also solves the $l_0$-norm minimization problem whenever $0

研究の動機と目的

• スパース回復におけるNP困難な $l_0$-ノルム最小化 ($P_0$) の代わりに、$l_p$-ノルム最小化 ($P_p$) がどの程度実用的代替として機能できるかという長年の問いを解決すること。
• 非凸的かつ不連続な $l_0$-ノルムの性質にもかかわらず、$P_0$ と $P_p$ の間の同等性を理論的に確立すること。
• 「NP/CLP同等性定数」として知られる臨界閾値 $p^*(A,b)$ を定義・特徴づけること。この定数は、$P_p$ の解が $P_0$ の解と一致する $p$ の範囲を決定する。
• $P_p$ の解のスパarsity が $p$ に対して単調でないことを示し、より小さい $p$ が常によりスパースな解をもたらすという仮定に反することを明らかにすること。
• モデル選択およびアルゴリズム設計のための定性的な枠組みを提供し、$P_p$ が $P_0$ に置き換え可能となる条件を特定すること。

提案手法

• $\mathbb{R}^n$ を $N(A) \oplus R(A^T)$ に分解することで、不定方程式 $Ax = b$ のすべての解を明示的にパラメータ化可能にする。
• $0 < p \leq 1$ の $P_p$ の解の位置と構造を分析するために、古典的 Bauer 最大原理を適用する。
• 「NP/CLP同等性定数」$p^*(A,b)$ の概念を導入し、これは $P_p$ のすべての解が $P_0$ の解であるような $p$ の上界として定義される。
• 極限関係 $\|x\|_0 = \lim_{p \to 0^+} \|x\|_p^p$ を用いて、$P_p$ と $P_0$ 間の理論的リンクを正当化する。
• 幾何学的および解析的技法を用いて、任意の $Ax = b$ に対して $p^*(A,b) > 0$ が存在し、$0 < p < p^*(A,b)$ のとき $P_p$ と $P_0$ が同一の解をもつことを証明する。
• 反例を用いて、$p^*(A,b)$ が $P_p$ が $P_0$ 解を回復する最小の $p$ によって決定されないことを検証し、またより小さい $p$ が常によりスパースな解をもたらすとは限らないことを示す。

実験結果

リサーチクエスチョン

• RQ1 与えられた不定方程式 $Ax = b$ に対して、$l_p$-最小化問題 $P_p$ が $l_0$-最小化問題 $P_0$ と同じスパース解を回復できる最大の $p > 0$ は何か？
• RQ2 $l_p$-ノルム最小化（$0 < p < 1$）は、$Ax = b$ のスパースな解を信頼性高く回復できるか。もしそうなら、どのような条件下で可能か？
• RQ3 $P_p$ と $P_0$ が解において同等である非自明な $p \in (0,1)$ の範囲が存在するか。$P_p$ が $p < 1$ で非凸的であるにもかかわらず。
• RQ4 $P_0$ と $P_p$ 間の同等性は、問題固有の定数 $p^*(A,b)$ を用いて定量的に定式化可能か。この定数はどのように推定できるか？
• RQ5 $p$ が小さくなるにつれて $P_p$ の解のスパarsity は単調に増加するのか。それとも、より大きな $p$ の解がよりスパースである可能性があるのか？

主な発見

• 任意の不定方程式 $Ax = b$ に対して、$p^*(A,b) > 0$ が存在し、$0 < p < p^*(A,b)$ のとき、$P_p$ のすべての解が $P_0$ の解であることが保証される。これにより、新たな同等性「NP/CLP同等性」が確立される。
• 同等性は単調でない：$p = 0.8$ のときの $P_p$ 解は、$p = 0.95$ のときの解よりもスパース性が低いことがある。$p = 0.8 > p = 0.95$ であるにもかかわらず、これはより小さい $p$ が常によりスパースな解をもたらすとは限らないことを示している。
• 提示された例では $p^*(A,b) \geq 0.135$ であり、$l_0$-最適解 $x_0 = (1.45, 2, 0, 0)^T$ は $p < 0.135$ のすべての $P_p$ で回復されるが、$p = 0.8$ のときは回復されない。
• $l_{0.95}$-ノルムと $l_1$-ノルムの両方が、$l_0$-最適解 $x_0$ で最小値をとるが、$l_{0.8}$-ノルムは別の、よりスパースでない解 $x_{0.8} = (0.1, 0, 3, 0.4)^T$ で最小値をとり、$\|x_{0.8}\|_0 = 3 > 2$ である。
• $p^*(A,b)$ の存在は、$P_0$ 解を信頼性高く回復できるように $P_p$ の $p$ を選択する理論的根拠を提供するが、$p^*(A,b)$ の正確な値は計算が困難である。
• この結果により、離散的でNP困難な $P_0$ と連続的で多項式時間で解ける可能性のある $P_p$ の間の定性的な橋渡しがなされ、スパース回復およびアルゴリズム設計のための新しいパラダイムが提示される。