[論文レビュー] Empirical Bayes and Full Bayes for Signal Estimation

Yanting Ma, Jin Tan+2 more|arXiv (Cornell University)|May 8, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用数 9

ひとこと要約

本稿では、未知のパラメトリックな事前分布を想定した信号推定のため、経験ベイズ（EB）およびフルベイズ（FB）フレームワーク内に混合ノイズ除去器（MixD）を提案する。FBによるパrameterの事後分布の不確実性を組み合わせ、近似メッセージパッシング（AMP）を活用することで、特に小次元から中次元の信号において、最小平均二乗誤差（MMSE）に近い性能を達成し、収束速度と精度の両面でプラグインEB手法を上回る。

ABSTRACT

We consider signals that follow a parametric distribution where the parameter values are unknown. To estimate such signals from noisy measurements in scalar channels, we study the empirical performance of an empirical Bayes (EB) approach and a full Bayes (FB) approach. We then apply EB and FB to solve compressed sensing (CS) signal estimation problems by successively denoising a scalar Gaussian channel within an approximate message passing (AMP) framework. Our numerical results show that FB achieves better performance than EB in scalar channel denoising problems when the signal dimension is small. In the CS setting, the signal dimension must be large enough for AMP to work well; for large signal dimensions, AMP has similar performance with FB and EB.

研究の動機と目的

• 信号のパラメトリックな事前分布の形は既知であるが、そのパrameterが未知である場合のスカラーおよび行列チャネルにおける信号推定を扱う。
• ノイズの多い測定値から信号を推定する際、経験ベイズ（EB）とフルベイズ（FB）アプローチの性能を比較する。
• パrameterの不確実性をFBを用いて統合する混合ノイズ除去器（MixD）の開発および評価を行う。
• 混合ノイズ除去器（MixD）フレームワークを、圧縮センシング（CS）への適用を想定した近似メッセージパッシング（AMP）フレームワーク内に適用する。
• MixDとプラグインEB推定器との間の、推定精度と計算速度のトレードオフを評価する。

提案手法

• 未知のパrameterベクトル $\theta$ に事前分布を割り当てることで、フルベイズ（FB）アプローチを提案し、事後分布 $f(\theta|{\bf y})$ の計算を可能にする。
• すべての可能な $\theta$ 値についての重み付き和として推定器を計算する混合ノイズ除去器（MixD）を導入し、重みは $f(\theta|{\bf y})$ で与えられ、パrameterの不確実性を反映する。
• 圧縮センシング（CS）問題において、未知の信号事前分布を想定した場合に、AMPフレームワーク内にMixDを適用する。
• プラグインEB手法におけるパrameter推定には最尤推定（ML）を用い、その後ベイズ推定器にフィードバックする。
• AMPフレームワーク内でスカラーのガウス分布チャネルノイズ除去ステップを用い、逐次的に信号推定値を改善する。
• 既知のノイズ分散と未知の信号パrameterを想定した、ベルヌーイおよびベルヌーイ・ガウス（BG）信号モデルを用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 小次元から中次元の信号サイズにおいて、フルベイズ混合ノイズ除去器（MixD）は、経験ベイズ（EB）プラグイン手法と比較して、平均二乗誤差（MSE）でどの程度優れるか？
• RQ2 真の事前分布パrameterが未知である状況でも、MixDアプローチは近似的に最小平均二乗誤差（MMSE）性能を達成できるか？
• RQ3 信号次元 $N$ の増加に伴い、MixDとEB手法の性能はどのように変化するか？
• RQ4 未知のパラメトリック事前分布を想定した圧縮センシング設定において、AMP-MixDの性能はいかがなものか？
• RQ5 MixDの計算複雑度は、より高速なプラグインEB手法と比較してどの程度で、精度と速度のトレードオフはどのようなものか？

主な発見

• 小次元信号（$N \approx 15$）では、MixDはMMSEから $1.5 \cdot 10^{-3}$ の超過MSEを達成するが、プラグインEB手法は同程度の性能に到達するまでに $N \approx 40$ 必要である。
• 信号次元 $N$ が増加するにつれて、MixDおよびプラグインEB手法の両方が理論的MMSEに漸近的に近づき、超過MSEは0に近づく。
• 圧縮センシングにおいて $N=10,000$（ベルヌーイ）および $N=5,000$（BG）の場合、AMP-MixDは測定数 $M$ が変化しても、理論的最適MMSEに非常に近い信号対歪み比（SNR）を達成する。
• ベルヌーイおよびBG入力ケースの両方において、AMP-MixDの性能は理論的MMSEに非常に近く、SNRは5–25 dB、$M$ は1,000から7,000の範囲で安定している。
• プラグインEB手法はMixDよりも高速に動作しており、推定精度と計算速度のトレードオフが顕著に現れている。
• BG信号の場合、MixDは特に低次元領域において、プラグインEB手法に比べて顕著な性能向上を示す。