[論文レビュー] Estimating Unknown Sparsity in Compressed Sensing

Miles E. Lopes|arXiv (Cornell University)|Apr 19, 2012

Sparse and Compressive Sensing Techniques参考文献 44被引用数 13

ひとこと要約

本稿では、真のスパarsity $ \|x\|_0 $ が実際には未知であるにもかかわらず理論的には既知であると仮定される圧縮センシングにおける重要なギャップを埋めるデータ駆動型手法を提案する。この手法は、スパarsityの安定した測度 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ を、スパarsityの事前仮定なしに、少数の線形測定値のみを用いて推定する。この方法は、信号次元 $ p $ に依存しない幅の信頼区間を $ s(x) $ に対して提供し、$ n \ll p $ の場合に確定的測定値では大きなミニマックスリスクを伴うため、確率的測定値が不可欠であることを証明する。

ABSTRACT

In the theory of compressed sensing (CS), the sparsity ||x||_0 of the unknown signal x\in\R^p is commonly assumed to be a known parameter. However, it is typically unknown in practice. Due to the fact that many aspects of CS depend on knowing ||x||_0, it is important to estimate this parameter in a data-driven way. A second practical concern is that ||x||_0 is a highly unstable function of x. In particular, for real signals with entries not exactly equal to 0, the value ||x||_0=p is not a useful description of the effective number of coordinates. In this paper, we propose to estimate a stable measure of sparsity s(x):=||x||_1^2/||x||_2^2, which is a sharp lower bound on ||x||_0. Our estimation procedure uses only a small number of linear measurements, does not rely on any sparsity assumptions, and requires very little computation. A confidence interval for s(x) is provided, and its width is shown to have no dependence on the signal dimension p. Moreover, this result extends naturally to the matrix recovery setting, where a soft version of matrix rank can be estimated with analogous guarantees. Finally, we show that the use of randomized measurements is essential to estimating s(x). This is accomplished by proving that the minimax risk for estimating s(x) with deterministic measurements is large when n<

研究の動機と目的

• 理論的には既知とされるが、実際には通常未知である真のスパarsity $ \|x\|_0 $ に起因する圧縮センシングにおける重要なギャップを解消すること。
• 正確にゼロでない信号に対して $ \|x\|_0 $ が不安定であるのを補うために、$ s(x) = \|x\|_1^2 / \|x\|_2^2 $ という安定した代替測度を導入すること。
• スパarsityの仮定なしに、少数の線形測定値のみを用いて計算効率の良い推定手順を開発すること。
• 信号次元 $ p $ に依存しない幅の信頼区間を $ s(x) $ に対して提供することで、高次元設定においてもロバストであることを保証すること。
• $ n \ll p $ の場合に確定的測定行列では大きなミニマックスリスクを伴うことを証明し、正確な推定に確率的測定値が不可欠であることを確立すること。

提案手法

• 信号の正確なゼロでない場合でも意味を持つように、$ \|x\|_0 $ の代替として安定的かつ下限付きの測度 $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ を提案する。
• 線形測定値 $ y = Ax + \epsilon $ を得るために、$ A \in \mathbb{R}^{n \times p} $ の確率的測定行列を用い、$ y $ のみから $ s(x) $ を推定可能であるようにする。
• 測定値に基づいて信頼区間を構築し、その幅が $ p $ に依存しないようにする。これには集中不等式およびガウス分布最大値の上限を用いる。
• 2点事前分布の構築とベイズリスク解析を用いて、確定的測定行列に対するミニマックスリスクの下界を証明する。
• 同一の測定値を得るが $ s(x) $ の値が異なる信号の2点集合 $ \{x^\circ, \tilde{x}\} $ への還元を適用し、確定的設計では正確な推定が不可能であることを確立する。
• 三角不等式とリスク最小化を用いて、定数リスクを達成するベイズルールが下界に到達することを示し、ランダム化の必要性を証明する。

実験結果

リサーチクエスチョン

• RQ1 真のスパarsity $ \|x\|_0 $ の事前知識なしに、圧縮センシングで信号スパarsityの安定的かつデータ駆動型の推定が可能か？
• RQ2 確定的測定行列と確率的測定行列の両方を用いた $ s(x) = \|x\|_1^2 / \|x\|_2^2 $ の推定における根本的限界は何か？
• RQ3 信号次元 $ p $ に依存しない幅の信頼区間を $ s(x) $ に対して構築可能か？
• RQ4 $ s(x) $ の推定は、測定回数の選定や復元アルゴリズムのチューニングといった圧縮センシングの実用的側面にどのように影響を与えるか？
• RQ5 スパarsityの仮定なしに、少数の線形測定値のみを用いて $ s(x) $ を高い信頼度で推定可能か？

主な発見

• 提案された $ s(x) $ の推定器は、信号次元 $ p $ に依存しない信頼区間幅を達成しており、高次元問題へのスケーラビリティを保証する。
• 確定的測定値を用いた $ s(x) $ の推定におけるミニマックスリスクの下界は $ \frac{p - n - 1}{2(1 + 2\sqrt{2\log(2p)})^2} $ に抑えられ、$ n \ll p $ の場合にこのような測定値が根本的に不十分であることを証明する。
• 確率的測定値が正確な推定に不可欠である。確定的設計では、$ n $ が $ p $ に比例する場合ですら、大きなミニマックスリスクを伴う。
• $ s(x) $ の推定器は計算的に効率的であり、スパarsityの仮定なしに適用可能であるため、実際のスパースモデリングの妥当性検証に適している。
• 理論的保証は、行列回復設定へ自然に拡張可能であり、同様の信頼区間を用いて行列ランクのソフトバージョンを推定できる。
• 本手法は、スパarsity仮定の妥当性検証、測定回数の選定、復元アルゴリズムのチューニングといった、実世界の圧縮センシング応用における実用的ツールを提供する。