[論文レビュー] Support Recovery with Sparsely Sampled Free Random Matrices

Antonia M. Tulino, Giuseppe Caire+2 more|arXiv (Cornell University)|Aug 27, 2012

Sparse and Compressive Sensing Techniques参考文献 36被引用数 8

ひとこと要約

本稿は、スパースにサンプリングされた自由ランダム行列を用いた圧縮センシングにおけるサポート回復を研究し、古典的モデルをi.i.d.でないユニタリ不変行列（例：ハール行列）に拡張する。レプリカ法とデカップリング原理を用いて、最適および準最適推定器におけるサポート回復誤り率の正確な漸近的性能限界を導出。誤り率はSNR、スパarsity q、サンプリングレートpに依存し、Lassoおよびしきい値付き線形MMSE推定器の相互情報量と平均二乗誤差といった主要な性能指標について閉形式の式が得られる。

ABSTRACT

Consider a Bernoulli-Gaussian complex $n$-vector whose components are $V_i = X_i B_i$, with $X_i \sim \Cc\Nc(0,\Pc_x)$ and binary $B_i$ mutually independent and iid across $i$. This random $q$-sparse vector is multiplied by a square random matrix $\Um$, and a randomly chosen subset, of average size $n p$, $p \in [0,1]$, of the resulting vector components is then observed in additive Gaussian noise. We extend the scope of conventional noisy compressive sampling models where $\Um$ is typically %A16 the identity or a matrix with iid components, to allow $\Um$ satisfying a certain freeness condition. This class of matrices encompasses Haar matrices and other unitarily invariant matrices. We use the replica method and the decoupling principle of Guo and Verdú, as well as a number of information theoretic bounds, to study the input-output mutual information and the support recovery error rate in the limit of $n o \infty$. We also extend the scope of the large deviation approach of Rangan, Fletcher and Goyal and characterize the performance of a class of estimators encompassing thresholded linear MMSE and $\ell_1$ relaxation.

研究の動機と目的

• 従来のノイズ付き圧縮センシングモデルをi.i.d.でないセンシング行列に拡張し、ハール分布行列などの自由ランダム行列を含める。
• 大システム限界（n → ∞）における最適MAP-SBSおよび実用的な準最適推定器の漸近的サポート回復誤り率を特徴付ける。
• Lassoおよびしきい値付き線形MMSE推定器における相互情報量と推定誤差の正確な閉形式式を導出する。
• 情報理論的ツール（レプリカ法および大偏差解析）を用いて、一般の自由ランダム行列集合の性能バウンダリーを確立する。

提案手法

• ベルヌーイ・ガウス信号がスパースにサンプリングされた自由ランダム行列を通して観測される状況において、レプリカ法を用いて漸近的入出力相互情報量を計算する。
• GuoとVerdúのデカップリング原理を用いて、一般の推定器における推定誤差の漸近的挙動を分析する。
• 大n極限における信号と観測値の同時分布を用いて、漸近的サポート回復誤り率を導出する。
• Lassoおよびしきい値付き線形MMSE推定器の平均二乗誤差を、正規分布およびレイリー型密度関数を含む正確な積分を用いて計算する。
• 性能は行列R = U†A†AUのスペクトル測度に依存し、これは決定的行列から自由であることを示す。
• スペクトル測度のスタイルチェス変換の逆数を含む積分を解くことにより、レート・ディストーション関数および誤り率の閉形式式を導出する。

実験結果

リサーチクエスチョン

• RQ1 センシング行列がi.i.d.ではなく自由ランダム行列である場合、サポート回復誤り率の根本的限界は何か？
• RQ2 大システム限界において、しきい値付き線形MMSE推定器およびLasso推定器の性能は最適MAP-SBS推定器と比べてどうなるか？
• RQ3 レプリカ法およびデカップリング原理は、この一般化モデルにおける相互情報量および推定誤差の正確な漸近的表現を導けるか？
• RQ4 行列構造（例：ハール分布、i.i.d.）がサポート回復誤り率に与える影響は何か？
• RQ5 SNR、スパarsityレベルq、およびサンプリングレートpが、漸近的領域における達成可能な誤り率にどのように統合的に影響を与えるか？

主な発見

• 自由ランダム行列に対する最適MAP-SBS推定器における漸近的サポート回復誤り率が閉形式で導出され、SNR、q、pに依存することが示された。
• i.i.d.センシング行列の場合、相互情報量はp log(1 + χ)で与えられ、古典的結果と一致する。
• ハール分布行列の場合、相互情報量はp、q、SNRを変数とする複雑な関数で表され、平方根および有理式の対数を含む。
• Lasso推定器の平均二乗誤差は、レイリーおよび正規密度関数を用いた積分を用いて閉形式で導出され、正則化パラメータξに明示的な依存関係を示す。
• しきい値付き線形MMSE推定器の性能は、SNRが上昇するにつれて劣化することが示され、線形手法の非最適性に関する先行研究と整合的である。
• 分析により、準最適推定器と最適推定器の性能ギャップは、SNRが上昇するにつれて拡大し、特にスパarsityレベルが低い場合に顕著になることが確認された。