[論文レビュー] Performance Bounds on Sparse Representations Using Redundant Frames

Mehmet Akçakaya, Vahid Tarokh|ArXiv.org|Mar 9, 2007

Sparse and Compressive Sensing Techniques参考文献 13被引用数 14

ひとこと要約

本稿では、O(N²)の計算量で50%のスパarsity（ǫ ≤ 0.5）まで一意でリアルタイムに信号のスパース表現を可能にする冗長辞書としてのバーデルモンドフレームを導入する。ノイズありスパース表現における歪みの根本的な下界を確立し、冗長性とスパarsityのトレードオフがフレーム構造によって本質的に制限されることを示し、幾何確率およびエントロピーに基づく解析により漸近的下界を導出する。

ABSTRACT

We consider approximations of signals by the elements of a frame in a complex vector space of dimension $N$ and formulate both the noiseless and the noisy sparse representation problems. The noiseless representation problem is to find sparse representations of a signal $\mathbf{r}$ given that such representations exist. In this case, we explicitly construct a frame, referred to as the Vandermonde frame, for which the noiseless sparse representation problem can be solved uniquely using $O(N^2)$ operations, as long as the number of non-zero coefficients in the sparse representation of $\mathbf{r}$ is $εN$ for some $0 \le ε\le 0.5$, thus improving on a result of Candes and Tao \cite{Candes-Tao}. We also show that $ε\le 0.5$ cannot be relaxed without violating uniqueness. The noisy sparse representation problem is to find sparse representations of a signal $\mathbf{r}$ satisfying a distortion criterion. In this case, we establish a lower bound on the trade-off between the sparsity of the representation, the underlying distortion and the redundancy of any given frame.

研究の動機と目的

• スパarsityが制限された信号の、一意でリアルタイムのスパース表現を可能にするフレーム構造の開発。
• 冗長フレームを用いた一意なノイズなしスパース復元が可能なスパarsityの根本的限界（ǫ ≤ 0.5）の特定。
• スパarsity、歪み、フレームの冗長性のトレードオフを定量化する、ノイズありスパース表現問題における歪みの下界の確立。
• 最適なトレードオフとスパース表現の効率的計算を可能にするフレーム設計の理論的基盤の提供。

提案手法

• 単位根を用いたバーデルモンドフレームの構築により、O(N²)の演算で高速かつ一意なスパース復元を実現する。
• 幾何確率および球面測度を用いて、ランダム信号とKフレーム要素が張る部分空間との最小距離を評価する。
• 球面キャップの体積に対するエントロピーに基づく境界を適用し、任意のフレームにおける期待歪みの下界を導出する。
• ジョンソン＝リンデンストラウス型の議論と測度集中を用いて、スパース復元におけるランダム射影の性能を分析する。
• 信号がフレームの任意のK要素部分集合の張る空間の外にある確率を統合することで、平均歪みD(F)の下界を導出する。
• 漸近的解析を用いて、N → ∞における歪み下界の閉形式表現を、スパarsity ǫ および冗長性 r でパrameter化して導出する。

実験結果

リサーチクエスチョン

• RQ1 冗長フレームを用いた場合に、一意なスパース表現が保証される最大のスパarsityレベル ǫ は何か？ また、これはリアルタイムアルゴリズムで達成可能か？
• RQ2 スパース表現問題が、ǫN個の非ゼロ係数を持つ信号についてO(N²)の演算で解けるようなフレームを構築可能か？
• RQ3 固定されたフレームの冗長性とスパarsityレベルが与えられたとき、ノイズありスパース表現における歪みの根本的下限は何か？
• RQ4 歪み下界は信号次元Nの増加に伴いどのようにスケーリングされ、その漸近的挙動は何か？

主な発見

• バーデルモンドフレームは、任意の ǫ ≤ 0.5 に対して、O(N²)の計算量で、ǫN個の非ゼロ係数を持つ信号の、一意でノイズなしのスパース表現を可能にする。
• スパarsityの限界 ǫ ≤ 0.5 はタイトである：これを ǫ > 0.5 に緩和すると、スパース表現の一意性が破れる。
• 冗長性 r−1 = M/N −1 の任意のフレーム F に対して、平均歪み D(F) は N、L（スパarsity）、フレーム構造の関数として下界で抑えられ、L ∈ [0, N] のすべての L に対して明示的な下界が導出される。
• 1 ≤ L ≤ N−2 の場合、平均歪みの下界は D(F) ≥ ρ₀(N) − ρ₀(N)² / (κ_c(N)(N−L)) と表され、ここで ρ₀ および κ_c はエントロピーおよびフレーム幾何学に基づいて定義される。
• L = N−1 の場合、下界は D(F) ≥ ρ₀(N) − T[ρ₀(N) − 1/(N+1) + (1−ρ₀(N))N / N] と表され、ρ₀(N) = 1 − (1 − 1/T)^{1/(N−1)} である。
• N → ∞ のとき、漸近的歪み下界は D(F) ≥ κ₀(1−ǫ)/(1−ǫκ₀) と表され、ここで κ₀ = 2^{−r(1−ǫ)H(ǫ/r)/ǫ} ǫ^{ǫ/(1−ǫ)} であり、スパarsity、歪み、冗長性の間の非自明なトレードオフが示される。