[論文レビュー] Restricted Isometry Random Variables: Probability Distributions, RIC Prediction and Phase Transition Analysis for Gaussian Encoders

Oliver James, Heung-No Lee|arXiv (Cornell University)|Oct 8, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、圧縮センシングにおけるガウスノイズ付きランダムエンコーダーのための決定的制限等長定数（RIC）を一般化するために、制限等長確率変数（RIVs）を導入する。Weibull分布（左RIV用）およびGumbel分布（右RIV用）の正確な確率分布を導出することで、RIVに基づくRIC予測が固有値に基づく手法よりも正確であることを示し、CS復元性能におけるフェーズ遷移解析の改善に寄与する。

ABSTRACT

In this paper, we aim to generalize the notion of restricted isometry constant (RIC) in compressive sensing (CS) to restricted isometry random variable (RIV). Associated with a deterministic encoder there are two RICs, namely, the left and the right RIC. We show that these RICs can be generalized to a left RIV and a right RIV for an ensemble of random encoders. We derive the probability and the cumulative distribution functions of these RIVs for the most widely used i.i.d. Gaussian encoders. We also derive the asymptotic distributions of the RIVs and show that the distribution of the left RIV converges (in distribution) to the Weibull distribution, whereas that of the right RIV converges to the Gumbel distribution. By adopting the RIV framework, we bring to forefront that the current practice of using eigenvalues for RIC prediction can be improved. We show on the one hand that the eigenvalue-based approaches tend to overestimate the RICs. On the other hand, the RIV-based analysis yields precise estimates of the RICs. We also demonstrate that this precise estimation aids to improve the previous RIC-based phase transition analysis in CS.

研究の動機と目的

• 圧縮センシングにおけるランダムエンコーダーの文脈で、決定的制限等長定数（RIC）を確率変数フレームワークに一般化すること。
• i.i.d. ガウスエンコーダー・モデル下での左RIVおよび右RIVの正確な確率密度関数および累積分布関数を導出すること。
• 固有値に基づく近似をRIVに基づく統計的推定に置き換えることで、RIC予測の精度を向上させること。
• RIV分布から導かれるより正確なRIC推定値を用いて、圧縮センシングにおけるフェーズ遷移解析を精緻化すること。
• RIV分布が既知の極値分布（WeibullおよびGumbel）に漸近的に収束することを確立すること。

提案手法

• 左RIVおよび右RIVを、ガウスランダム行列のすべてのkスパースな列部分集合における最小および最大等長定数に対応する確率変数として定義する。
• i.i.d. ガウスエンコーダーにおける左RIVおよび右RIVの正確な確率密度関数（PDF）および累積分布関数（CDF）を導出する。
• 信号次元が増加する際のRIVの漸近的挙動を分析し、それぞれWeibull分布およびGumbel分布への分布収束を示す。
• 従来の固有値に基づくRIC推定を、導出されたCDFおよび分位数を用いたRIVに基づく予測に置き換えることで、より正確なRICの境界を達成する。
• RIVフレームワークから得られる改善されたRIC推定値を統合することで、標準的なフェーズ遷移曲線を再評価・精緻化する。
• RIVに基づく推定値と固有値に基づく近似値を比較することで、RIVベースの推定がより正確であることを検証し、後者に系統的な過大評価が生じることを示す。

実験結果

リサーチクエスチョン

• RQ1 決定的RICの概念を、圧縮センシングにおけるランダムエンコーダーの文脈で確率変数フレームワークに一般化するにはどうすればよいか？
• RQ2 i.i.d. ガウスランダムエンコーダーにおける左RIVおよび右RIVの正確な確率分布は何か？
• RQ3 RIVの漸近的分布は、既知の極値分布とどのように比較できるか？収束挙動はいかなるものか？
• RQ4 RIVベースのRIC予測は、精度の観点から、従来の固有値ベースの推定を上回ることができるか？
• RQ5 RIVを用いたRIC推定の改善は、圧縮センシングにおけるフェーズ遷移解析の精度にどのように影響を与えるか？

主な発見

• 信号次元が増加するにつれて、左RIVは分布収束によりWeibull分布に、右RIVはGumbel分布に収束する。
• RIVフレームワークは、固有値に基づく手法に比べてより正確なRIC推定を提供し、後者は系統的にRICを過大評価する。
• 導出されたRIV分布により、分位数に基づく推定によってRICを正確に予測可能となり、ヒューリスティックな固有値近似を凌駕する。
• RIVベースのRIC推定値を用いることで、圧縮センシングにおけるフェーズ遷移解析が精緻化され、より鋭く信頼性の高い回復閾値が得られる。
• i.i.d. ガウスエンコーダーに対して、RIVの正確なPDFおよびCDFが導出され、モンテカルロサンプルを用いずに等長性の統計的推論が可能になる。
• RIVベースのアプローチにより、RICが導出された極値分布によって確率的に有界であることが明らかになり、よりタイトな理論的保証が得られる。