[論文レビュー] Compressed Sensing via Universal Denoising and Approximate Message Passing

Yanting Ma, Junan Zhu+1 more|arXiv (Cornell University)|Jul 8, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用数 8

ひとこと要約

本稿では、近似的なメッセージパッシング（AMP）と文脈量子化およびガウス・ミクスチャ・モデリングに基づくユニバーサル・ノイズ除去器を組み合わせた、ユニバーサルな圧縮センシング再構成アルゴリズムAMP-UDを提案する。定常エルゴディック信号のノイズ除去をi.i.d.部分列のノイズ除去に変換し、適応的密度推定を用いることで、信号統計に関する事前知識がなくても最小平均二乗誤差に近い性能を達成し、再構成品質および実行時間の両面で既存手法を上回る。

ABSTRACT

We study compressed sensing (CS) signal reconstruction problems where an input signal is measured via matrix multiplication under additive white Gaussian noise. Our signals are assumed to be stationary and ergodic, but the input statistics are unknown; the goal is to provide reconstruction algorithms that are universal to the input statistics. We present a novel algorithm that combines: (i) the approximate message passing (AMP) CS reconstruction framework, which converts the matrix channel recovery problem into scalar channel denoising; (ii) a universal denoising scheme based on context quantization, which partitions the stationary ergodic signal denoising into independent and identically distributed (i.i.d.) subsequence denoising; and (iii) a density estimation approach that approximates the probability distribution of an i.i.d. sequence by fitting a Gaussian mixture (GM) model. In addition to the algorithmic framework, we provide three contributions: (i) numerical results showing that state evolution holds for non-separable Bayesian sliding-window denoisers; (ii) a universal denoiser that does not require the input signal to be bounded; and (iii) we modify the GM learning algorithm, and extend it to an i.i.d. denoiser. Our universal CS recovery algorithm compares favorably with existing reconstruction algorithms in terms of both reconstruction quality and runtime, despite not knowing the input statistics of the stationary ergodic signal.

研究の動機と目的

• 未知の入力信号統計に普遍的である圧縮センシング再構成アルゴリズムの開発、特に定常エルゴディック信号を対象とする。
• 信号分布やパラメータに関する事前知識を必要とする従来のベイズ的および最適化ベースの手法の限界を克服すること。
• 入力信号の有界性を仮定しないノイズ除去器の設計により、より広範な適用可能性を実現すること。
• ガウス・ミクスチャ・モデルによる密度推定をAMPフレームワークに統合し、適応的かつデータ駆動型のノイズ除去を実現すること。
• AMPフレームワークにおいて非分離的でスライディング・ウィンドウ型のノイズ除去器に対しても、状態遷移（state evolution）が成立することを検証すること。

提案手法

• アルゴリズムは、行列チャネル問題をスカラー・ノイズ除去問題に分離するため、近似的なメッセージパッシング（AMP）を用いる。
• 文脈量子化に基づくユニバーサル・ノイズ除去器により、定常エルゴディック信号をi.i.d.部分列に分割し、独立してノイズ除去を行う。
• 各i.i.d.部分列は、密度推定ではなくノイズ除去を目的とした、修正されたガウス・ミクスチャ（GM）学習アルゴリズムを用いてノイズ除去される。
• ノイズ除去器は、AMPにおけるオンサージェル補正に必要な導関数を同時に計算する。
• フレームワークは、アルゴリズムの性能を予測し収束を保証するため、状態遷移を活用する。
• ユニバーサル・ノイズ除去器は、有界でない信号を扱えるように拡張され、従来のユニバーサル・ノイズ除去手法の主要な制限を克服した。

実験結果

リサーチクエスチョン

• RQ1 非分離的でベイズ的スライディング・ウィンドウ型ノイズ除去器を用いたAMPに対して、状態遷移を信頼性を持って適用できるか？
• RQ2 入力信号の有界性を仮定しないユニバーサル・ノイズ除去器を設計できるか？
• RQ3 圧縮センシングの文脈において、密度推定ではなくノイズ除去を目的としたガウス・ミクスチャ・モデルを効果的に適応できるか？
• RQ4 ユニバーサルAMPベースの再構成アルゴリズムの性能は、最先端手法と比較して再構成品質および実行時間の面で優れているか？
• RQ5 提案手法は、信号構造や統計に関する事前知識なしに、ほぼ最小平均二乗誤差（MMSE）性能を達成できるか？

主な発見

• AMP-UDは、i.i.d.スパース・ラプラス、マルコフ一様、および密度の高いマルコフ・ラデマッハ信号を含む多様な信号タイプにおいて、最小平均二乗誤差（MMSE）から3 dB以内の再構成性能を達成した。
• 信号対歪み比（SDR）および実行時間の両面で、SLA-MCMCおよびturboGAMPを上回り、多数の信号において通常10分未塔の実行時間で処理が可能であった。
• 数値的結果により、非分離的ベイズ的スライディング・ウィンドウ型ノイズ除去器に対しても状態遷移が成立することが確認され、AMPの理論的有効性が分離可能なノイズ除去器にとどまらないことを拡張した。
• 提案されたユニバーサル・ノイズ除去器は、有界でない信号を効果的に処理でき、従来のユニバーサル・ノイズ除去手法が有界性を仮定していた点に比して顕著な進歩であった。
• AMP-UDは、信号構造や統計に関する知識なしにほぼMMSE性能を達成でき、強力な普遍性と頑健性を示した。
• 修正されたガウス・ミクスチャ学習アルゴリズムにより、効果的なi.i.d.ノイズ除去が可能となり、その結果得られたノイズ除去器は、正確なオンサージェル補正を伴い、AMPフレームワークに統合された。