[論文レビュー] Generalized Approximate Message Passing for Estimation with Random Linear Mixing

Sundeep Rangan|arXiv (Cornell University)|Oct 25, 2010

Sparse and Compressive Sensing Techniques参考文献 50被引用数 48

ひとこと要約

この論文では、非線形で確率的な線形測定値から信号を推定するための計算的に効率的なアルゴリズムである一般化された近似メッセージパッシング（GAMP）を紹介する。GAMPは近似メッセージパッシングを任意の入力および出力分布に拡張し、非凸問題に対しても成立する状態遷移方程式を用いて正確な性能予測を可能にする。

ABSTRACT

We consider the estimation of an i.i.d.\ random vector observed through a linear transform followed by a componentwise, probabilistic (possibly nonlinear) measurement channel. A novel algorithm, called generalized approximate message passing (GAMP), is presented that provides computationally efficient approximate implementations of max-sum and sum-problem loopy belief propagation for such problems. The algorithm extends earlier approximate message passing methods to incorporate arbitrary distributions on both the input and output of the transform and can be applied to a wide range of problems in nonlinear compressed sensing and learning. Extending an analysis by Bayati and Montanari, we argue that the asymptotic componentwise behavior of the GAMP method under large, i.i.d. Gaussian transforms is described by a simple set of state evolution (SE) equations. From the SE equations, one can \emph{exactly} predict the asymptotic value of virtually any componentwise performance metric including mean-squared error or detection accuracy. Moreover, the analysis is valid for arbitrary input and output distributions, even when the corresponding optimization problems are non-convex. The results match predictions by Guo and Wang for relaxed belief propagation on large sparse matrices and, in certain instances, also agree with the optimal performance predicted by the replica method. The GAMP methodology thus provides a computationally efficient methodology, applicable to a large class of non-Gaussian estimation problems with precise asymptotic performance guarantees.

研究の動機と目的

• 線形混合と非線形測定を持つ高次元推定問題における正確なベイズ推論の計算不能性に対処する。
• スケーラブルなアルゴリズムを構築し、ベクトル推定を反復的なスカラー演算に分離しながらも精度を維持する。
• 任意の分布に適用可能な状態遷移方程式を用いて、アルゴリズムの性能に対する厳密な漸近的解析を提供する。
• 非線形かつ非ガウス的設定下での最大事後確率（MAP）および平均二乗誤差最小化（MMSE）推定の性能予測を可能にする。

提案手法

• GAMPを提案する。これは、成分ごとの推定と線形変換を用いて、任意の入力および出力分布を扱えるように近似メッセージパッシングを拡張するものである。
• ループ付きベイズ推論の近似を用いて、信号成分の後験的平均および分散を推定する反復的更新式を導出する。
• GAMPの漸近的成分ごとの挙動を記述する状態遷移（SE）方程式を導入する。これは、大規模なi.i.d.ガウス測定行列下で成立する。
• スティーンの補題と条件付きガウス分布を活用してSE方程式を導出し、性能予測の解析的可能を実現する。
• 統一された更新ルールにより、和-積（MMSE）および最大-和（MAP）の両方のアルゴリズムバージョンをサポートする。
• 各反復をスカラー演算および行列-ベクトル乗算に制限することで、高次元積分を避けることにより計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 近似メッセージパッシングは、非線形推定問題における任意の入力および出力分布を扱えるように一般化可能か？
• RQ2 状態遷移フレームワークは、非凸的かつ非ガウス的設定下でのGAMPの漸近的性能を正確に予測できるか？
• RQ3 GAMPの性能は、統計物理学におけるレプリカ法によって予測される最適境界と比較してどうなるか？
• RQ4 一般のi.i.d.ガウス変換および任意の非線形チャネルに対して、状態遷移方程式を導出し、その有効性を証明できるか？
• RQ5 大規模な推定問題におけるGAMPの計算複雑性および収束特性はいかなるものか？

主な発見

• GAMPは、任意の入力および出力分布をもつ非線形推定に対して、ループ付きベイズ推論の計算的に効率的な近似を提供する。
• 大規模なi.i.d.ガウス変換下では、GAMPの漸近的性能は正確にスカラー状態遷移方程式の集合で記述される。
• 状態遷移解析により、平均二乗誤差や検出精度などの成分ごとの性能指標を正確に予測できる。
• GAMPの性能予測は、特定の状況下でレプリカ法の予測と一致し、特定の問題においてほぼ最適な挙動を示す。
• アルゴリズムは通常10–20反復で急速に収束し、最適化問題が非凸であっても精度を維持する。
• 理論的枠組みは、従来の近似メッセージパッシング手法を一般化し、広範な非線形圧縮センシングおよび学習問題への適用可能性を拡張する。