[論文レビュー] Estimation with Random Linear Mixing, Belief Propagation and Compressed Sensing

Sundeep Rangan|arXiv (Cornell University)|Jan 13, 2010

Sparse and Compressive Sensing Techniques参考文献 29被引用数 21

ひとこと要約

本稿は、線形混合推定問題における一般化された非AWGN出力チャネルに、緩和型信念伝播（BP）を拡張し、詳細な式を提示するとともに、状態遷移による漸近的最適性を証明する。緩和型BPが状態遷移方程式の上位固定点に収束し、固定点が一意の場合は最小平均二乗誤差に到達することを示しており、圧縮センシングや有界ノイズ推定への応用を含む。

ABSTRACT

We apply Guo and Wang's relaxed belief propagation (BP) method to the estimation of a random vector from linear measurements followed by a componentwise probabilistic measurement channel. Relaxed BP uses a Gaussian approximation in standard BP to obtain significant computational savings for dense measurement matrices. The main contribution of this paper is to extend the relaxed BP method and analysis to general (non-AWGN) output channels. Specifically, we present detailed equations for implementing relaxed BP for general channels and show that relaxed BP has an identical asymptotic large sparse limit behavior as standard BP, as predicted by the Guo and Wang's state evolution (SE) equations. Applications are presented to compressed sensing and estimation with bounded noise.

研究の動機と目的

• 線形混合推定における密行列を用いた標準的信念伝播の計算不能性に対処する。
• 元来AWGNチャネルに限定されていた緩和型BPを、任意の条件付き分布を有する一般化された（非AWGN）出力チャネルに拡張する。
• 任意の測定比β = m/nに対して、緩和型BPの収束解析を厳密に行う。
• 状態遷移方程式の固定点が一意である場合、緩和型BPが漸近的に最小平均二乗誤差を達成することを確立する。
• 非ガウス分布および離散的出力チャネルを組み込むことで、圧縮センシングおよび有界ノイズ推定への応用を広げる。

提案手法

• GuoとWangの緩和型BPフレームワークを適応し、出力ノードにおけるガウス近似を任意の出力チャネルに一般化したメッセージスケジューリング式に置き換える。
• 成分別分離可能な事前分布および一般化された測定チャネルpY|Z(yi|zi)に対して、明示的な緩和型BP更新式を導出する。
• 出力ノードにおけるメッセージ計算をガウス近似により線形化することで、標準的BPと比較して計算複雑性を顕著に低減する。
• 状態遷移（SE）解析を用いて反復回ごとの平均二乗誤差（MSE）を追跡し、SE方程式の上位固定点への収束を証明する。
• メッセージ計算の簡略化を導入することで、精度を損なわずにさらに複雑性を低減する。
• 緩和型BPの漸近的MSEがSE方程式の上位固定点に収束することを証明する一方で、下位固定点はMSEの理論的下限を提供する。

実験結果

リサーチクエスチョン

• RQ1 緩和型信念伝播を計算効率を保ちつつ非AWGN出力チャネルに一般化する方法は何か？
• RQ2 大規模でスパースなランダム混合行列における任意の測定比β = m/nに対して、緩和型BPの漸近的挙動はいかなるものか？
• RQ3 緩和型BPは大システム極限において最小平均二乗誤差を達成するか？ その条件は何か？
• RQ4 状態遷移方程式の上位固定点と下位固定点は、緩和型BPの性能および理論的最小MSEとどのように関係するか？
• RQ5 緩和型BPフレームワークは、非ガウスノイズを有する圧縮センシングおよび有界ノイズ推定問題に効果的に適用可能か？

主な発見

• 任意の測定比β = m/nに対して、緩和型BPは状態遷移方程式の上位固定点に収束する。
• 状態遷移方程式の下位固定点は、常に達成可能な最小平均二乗誤差の下限を提供する。
• 状態遷移方程式の固定点が一意である場合、緩和型BPは漸近的に最小平均二乗誤差を達成し、その範囲で最適性が証明される。
• 緩和型BPは、標準的BPと同一の条件下で、同じ漸近的スパース極限挙動を示すため、理論的に同等であることが確認される。
• 非ガウス的および離散的出力チャネルを組み込むことで、圧縮センシングおよび有界ノイズ問題における効率的推定が可能になる。
• 出力ノードにおけるガウス近似により計算複雑性が顕著に低減され、密行列を用いた推定にもスケーラブルである。