[論文レビュー] Constructing test instances for Basis Pursuit Denoising

Dirk A. Lorenz|arXiv (Cornell University)|Mar 15, 2011

Sparse and Compressive Sensing Techniques参考文献 24被引用数 6

ひとこと要約

この論文では、スパース正則化のソース条件を活用して、基底 Pursuit Denoising (BPDN) のテストインスタンスを、既知の正確な解を有する方法で構築する手法を提示する。行列 $ A $、ベクトル $ b $、パラメータ $ \tau $ を生成可能であり、所望のスパース解 $ x^* $ が最適であることが保証される。その条件は、$ A^T y = w $ かつ $ w \in \operatorname{Sign}(x^*) $、$ w \in \operatorname{rg}(A^T) $ である。これにより、解の理論的・計算的検証が可能となる。

ABSTRACT

The number of available algorithms for the so-called Basis Pursuit Denoising problem (or the related LASSO-problem) is large and keeps growing. Similarly, the number of experiments to evaluate and compare these algorithms on different instances is growing. In this note, we present a method to produce instances with exact solutions which is based on a simple observation which is related to the so called source condition from sparse regularization.

研究の動機と目的

• 基底 Pursuit Denoising (BPDN) のベンチマークインスタンスを、既知の正確な解を有する形で生成する課題に対処すること。
• ユーザーが指定したスパースベクトル $ x^* $ が $ \ell_1 $-正則化最小二乗問題の正確な解となるような、体系的かつ再現可能なテストインスタンス $ (A, b, \lambda) $ の構築方法を提供すること。
• スパース正則化のソース条件に依拠することで、部分勾配包含による最適性の保証により、理論的正しさと計算可能性を確保すること。
• 既知の真値を有するインスタンスを用いた正確な性能評価を可能にすることで、BPDN用のアルゴリズム開発と比較を支援すること。

提案手法

• 所望の符号パターン（$ \mathcal{A}_+ $：正、$ \mathcal{A}_- $：負、$ \mathcal{I} $：ゼロ）を持つスパース解 $ x^* $ を指定する。
• ベクトル $ w \in \mathbb{R}^n $ を構築し、$ i \in \mathcal{A}_+ $ の場合 $ w_i = 1 $、$ i \in \mathcal{A}_- $ の場合 $ w_i = -1 $、$ i \in \mathcal{I} $ の場合 $ |w_i| \leq 1 $ となるようにし、$ w \in \operatorname{rg}(A^T) $ を満たす。これによりソース条件を満たす。
• $ A^T y = w $ を解いて $ y $ を得る。これは $ w \in \operatorname{rg}(A^T) $ の場合にのみ可能であり、これにより $ x^* $ が BPDN問題の最適解であることが保証される。
• 右辺 $ b = \lambda y + A x^* $ を計算することで、$ x^* $ が $ \min_x \frac{1}{2}\|Ax - b\|_2^2 + \lambda\|x\|_1 $ の一意な最小化子であることを保証する。
• 凸集合への射影（POCS）または二次計画法を用いて、$ w \in \operatorname{rg}(A^T) \cap \operatorname{Sign}(x^*) $ を計算する。$ \operatorname{rg}(A^T) $ への射影はQR分解を、$ \operatorname{Sign}(x^*) $ への射影はクリッピングを用いる。
• L1TestPack MATLABパッケージに実装し、関数 `construct_bpdn_rhs` を用いて、与えられた $ A $、$ x^* $、$ \lambda $ に対して $ b $ の生成を自動化する。

実験結果

リサーチクエスチョン

• RQ1 基底 Pursuit Denoising のためのテストインスタンスを、真のスパース解が事前に既知となるように体系的に生成する方法は何か？
• RQ2 行列 $ A $、ベクトル $ b $、パラメータ $ \lambda $ にどのような条件を課すと、所望のスパースベクトル $ x^* $ が $ \ell_1 $-正則化最小二乗問題の正確な解となるか？
• RQ3 スパース正則化のソース条件をアルゴリズム的に活用することで、このようなインスタンスを効率的かつ信頼性高く構築できるか？
• RQ4 解 $ y $ が存在するかを検証するための数値的手法として、$ A^T y \in \operatorname{Sign}(x^*) $ かつ $ A^T y \in \operatorname{rg}(A^T) $ を満たすものを求めるにはどのような手法が使えるか？
• RQ5 スパース回復アルゴリズムのベンチマークに使用するにあたり、この構築プロセスを計算的に効率的かつ頑健にするにはどうすればよいか？

主な発見

• 所望のスパースベクトル $ x^* $ が基底 Pursuit Denoising 問題の正確な解であることは、$ w \in \operatorname{rg}(A^T) \cap \operatorname{Sign}(x^*) $ が存在することと同値であり、これはスパース正則化におけるソース条件に等しい。
• 右辺 $ b = \lambda y + A x^* $ かつ $ A^T y = w $（$ w \in \operatorname{Sign}(x^*) $ かつ $ w \in \operatorname{rg}(A^T) $）を満たす場合、解 $ x^* $ は $ \min_x \frac{1}{2}\|Ax - b\|_2^2 + \lambda\|x\|_1 $ の最適解である。
• 任意の $ A $ と $ x^* $ に対して、このような $ w $ の存在は保証されないため、$ b $ の構築前に妥当性の検証を含むチェックが含まれている。
• 凸集合への射影（POCS）法は、交互に射影を繰り返すことで $ w \in \operatorname{rg}(A^T) \cap \operatorname{Sign}(x^*) $ を効率的に計算でき、凸集合に対しては収束が保証される。
• 代替的な二次計画法では、可縮性問題 $ \min_z \frac{1}{2}\|\bar{P}z - \bar{v}\|^2 $ を制約 $ \|z\|_\infty \leq 1 $ の下で定式化し、$ \bar{P}z = \bar{v} $ を満たすかを検証することで正確な解を得る。
• 本手法は L1TestPack MATLABパッケージに実装されており、`construct_bpdn_rhs` 関数により、アルゴリズムベンチマーク用に正確な解が既知のテストインスタンスを自動生成可能である。