[論文レビュー] Sparse Non-Negative Recovery from Biased Subgaussian Measurements using NNLS

Yonatan Shadmi, Peter Jung+1 more|arXiv (Cornell University)|Jan 17, 2019

Sparse and Compressive Sensing Techniques参考文献 23被引用数 6

ひとこと要約

この論文は、バイアス付きサブガウス型測定行列を用いた非負のスパースベクトルの非負最小二乗法（NNLS）による非漸近的回復保証を確立する。非ゼロのバイアスがNNLSの内在的な自己正則化を向上させることを示し、m ≳ s^{2-2/q} log(n/s) の測定数で最適な ℓ_q 回復が達成可能であることを示す。これはバイアスの大きさに依存せず、デバイアスング技術と小球法を組み合わせることで実現される。

ABSTRACT

We investigate non-negative least squares (NNLS) for the recovery of sparse non-negative vectors from noisy linear and biased measurements. We build upon recent results from [1] showing that for matrices whose row-span intersects the positive orthant, the nullspace property (NSP) implies compressed sensing recovery guarantees for NNLS. Such results are as good as for $\ell_1$-regularized estimators but do not require tuning parameters that depend on the noise level. A bias in the sensing matrix improves this auto-regularization feature of NNLS and the NSP then determines the sparse recovery performance only. We show that NSP holds with high probability for biased subgaussian matrices and its quality is independent of the bias.

研究の動機と目的

• ノイズありでバイアス付きサブガウス型測定行列の下で、NNLSを用いたスパース非負ベクトルの回復保証を確立すること。
• センシング行列の非ゼロバイアスがNNLSの自己正則化特性に与える影響を分析し、スパース回復性能の向上を明らかにすること。
• バイアスの強さにかかわらず、バイアス付きサブガウス型行列に対して、ヌル空間性質（NSP）が高確率で成り立つことの証明。
• NNLSを用いた ℓ_q 回復のための最小測定数の境界を導出し、ノイズおよびバイアスパラメータへの依存を最小限に抑えること。
• ℓ₁ 正則化法とは異なり、ノイズレベルに依存する調整パラメータを必要としないNNLSの回復性能を示すこと。

提案手法

• 著者らは、先行研究におけるヌル空間性質（NSP）および M⁺-基準を基盤として、NNLSの回復保証を確立する。
• バイアスが存在する際の小球法におけるスケーリングの非最適性を克服するため、デバイアスングステップを導入する。
• バイアス付きサブガウス型行列のNSPに関する確率的境界を導出するために、小球法を用いる。
• 標準正規分布およびすべて1のベクトルを含む二次形式のモーメント推定と集中不等式を用いて、ガウス過程の期待最大値を有界化する。
• ガウス幅およびラデマッハ複雑度の技術を用いて、sスパース単位ベクトルの集合上の期待最大値を有界化する。
• 主要な要素として、バイアス μ ≥ 0 を加えた等方的1-サブガウス型確率的ベクトルの使用と、尾確率を有界化するための E[S]² / E[S²] の比の分析。

実験結果

リサーチクエスチョン

• RQ1 測定行列がバイアス付きでサブガウス型である場合、NNLSはスパース非負ベクトルに対して最適な ℓ_q 回復保証を達成できるか？
• RQ2 非ゼロバイアスの存在が、NNLSにおけるヌル空間性質（NSP）および回復性能に与える影響は何か？
• RQ3 ノイズが存在する中で、NNLSの自己正則化機能はバイアスの大きさに依存せず有効に保たれるか？
• RQ4 バイアス付きサブガウス型行列を用いたNNLSによる高確率的回復に必要な最小測定数は何か？
• RQ5 測定行列にバイアスが存在する場合、小球法をどのように変更すれば非自明な ℓ_q 回復保証を得られるか？

主な発見

• バイアス付きサブガウス型行列に対して、ヌル空間性質（NSP）は高確率で成り立ち、その品質はバイアスの大きさに依存しない。
• ℓ_q 回復のための測定数は m ≳ s^{2-2/q} log(n/s) であり、これは最適であり、バイアス強度 μ に依存しない。
• デバイアスング技術と小球法を組み合わせることで、非自明な ℓ_q 回復保証が得られ、単純な小球法解析を上回る性能を示す。
• 比 E[S]² / E[S²] は 1/3 以上に下界有界であり、確率的ベクトルとの内積の非消える下尾確率を保証する。
• sスパース単位ベクトルの集合のガウス幅は √(2s log(n/s)) + √(2s) で有界であり、バイアスは幅推定に追加で μ√(2s) を加える。
• NNLSはノイズレベルに依存する調整パラメータを必要とせず、LASSO や BPDN などの ℓ₁ 正則化法に比べて実用的利点を有する。