[論文レビュー] A Concise Tutorial on Approximate Message Passing

Qiuyun Zou, Hongwen Yang|arXiv (Cornell University)|Jan 19, 2022

Sparse and Compressive Sensing TechniquesEngineering被引用数 19

ひとこと要約

本論文は、線形回帰における高次元スパース信号復元のための近似メッセージパッシング（AMP）およびその高度な変種であるOAMP、VAMP、MAMPについて包括的なチュートリアルを提供する。AMPはメッセージパッシングの原則から導出され、性能予測のための状態遷移（state evolution）が確立されている。OAMPおよびMAMPにより、i.i.d.でない測定行列に対しても拡張され、より広い条件下で収束性とベイズ最適性能を示す。

ABSTRACT

High-dimensional signal recovery of standard linear regression is a key challenge in many engineering fields, such as, communications, compressed sensing, and image processing. The approximate message passing (AMP) algorithm proposed by Donoho extit{et al} is a computational efficient method to such problems, which can attain Bayes-optimal performance in independent identical distributed (IID) sub-Gaussian random matrices region. A significant feature of AMP is that the dynamical behavior of AMP can be fully predicted by a scalar equation termed station evolution (SE). Although AMP is optimal in IID sub-Gaussian random matrices, AMP may fail to converge when measurement matrix is beyond IID sub-Gaussian. To extend the region of random measurement matrix, an expectation propagation (EP)-related algorithm orthogonal AMP (OAMP) was proposed, which shares the same algorithm with EP, expectation consistent (EC), and vector AMP (VAMP). This paper aims at giving a review for those algorithms. We begin with the worst case, i.e., least absolute shrinkage and selection operator (LASSO) inference problem, and then give the detailed derivation of AMP derived from message passing. Also, in the Bayes-optimal setting, we give the Bayes-optimal AMP which has a slight difference from AMP for LASSO. In addition, we review some AMP-related algorithms: OAMP, VAMP, and Memory AMP (MAMP), which can be applied to more general random matrices.

研究の動機と目的

• 信号処理および機械学習分野の研究者を対象に、近似メッセージパッシング（AMP）およびその高度な変種について統一的かつアクセス可能なチュートリアルを提供すること。
• AMPを信念伝播およびグラフィカルモデルにおけるメッセージパッシングの原則から導出し、性能予測のための理論的基盤を状態遷移（SE）を用いて確立すること。
• i.i.d.サブガウス型行列に限らない状況にまでAMPの適用範囲を拡張するため、OAMPおよびMAMPを導入し、より一般のランダム測定行列を扱えるようにすること。
• さまざまな条件数におけるMAMPとOAMPの収束特性、計算複雑性、および平均二乗誤差（MSE）性能を比較すること。
• これらのアルゴリズムの漸近的MSEが、それぞれの状態遷移方程式によって完全に予測可能であることを示すこと。

提案手法

• ベイズ推論の簡略化のためのラプラス近似を用いて、信念伝播およびグラフィカルモデルにおけるメッセージパッシングからAMPを導出する。
• AMPの漸近的MSEを予測するための決定的スカラー再帰である状態遷移（SE）を導入する。
• 非i.i.d.行列に対する収束性の向上を目的として、線形最小平均二乗誤差（LMMSE）の非相関化行列と発散なしのデノイジング関数を組み込んだOAMPを提案する。
• マトリックス逆行列のテイラー展開による近似と、過去のメッセージの記憶を組み合わせることで、MAMP（メモリAMP）を構築し、直交性と安定性を強制する。
• 測定行列の固有値分解を用いてMAMPの設計を支援し、状態遷移を用いた収束解析を可能にする。
• 条件数が変化するハール分布を用いた数値シミュレーションを実施し、MAMPおよびOAMPの収束速度とNMSE性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 AMPはどのようにメッセージパッシングの原則から体系的に導出可能であり、状態遷移がその性能予測に果たす役割は何か？
• RQ2 標準AMPはなぜ非i.i.d.測定行列では収束しなく、その制限はどのように克服できるか？
• RQ3 OAMPの設計の核心的原則は何か？ これにより、ユニタリ不変ランダム行列に対しても収束性と最適性を維持できるか？
• RQ4 MAMPはOAMPに比べて、どのように収束安定性と悪条件行列への適用性を向上させているか？ その代償としての計算複雑性のトレードオフは何か？
• RQ5 MAMPおよびOAMPの漸近的MSEは、それぞれの状態遷移方程式によってどの程度まで正確に予測可能か？

主な発見

• 測定行列がi.i.d.サブガウス型である場合、AMPは大システム極限においてベイズ最適な平均二乗誤差（MSE）性能を達成する。
• OAMPはLMMSE非相関化行列と発散なしデノイジング関数を組み込むことで、AMPの収束性をユニタリ不変ランダム行列へ拡張するが、計算複雑性が増加する。
• MAMPはマトリックス逆行列の記憶ベースの近似と、メッセージ間の三重直交性の強制により、より広いクラスのランダム行列に対して安定な収束を達成する。
• 条件数κ(H)が増加するシナリオのシミュレーションにおいて、MAMPおよびOAMPの両者とも収束速度が劣化し、NMSEが上昇するが、MAMPはOAMPと同一の固定点に収束する。
• MAMPの漸近的MSEは、測定行列の固有値特性と過去のメッセージ統計に依存するその状態遷移方程式により完全に予測可能である。