[論文レビュー] Generalized Memory Approximate Message Passing

Feiyan Tian, Lei Liu+1 more|arXiv (Cornell University)|Oct 12, 2021

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、直交AMP/VAMP、GVAMP、メモリAMPを特別なケースとして統合する普遍的な一般化メモリ近似メッセージパッシング（GMAMP）フレームワークを提案する。メモリに基づく線形および非線形推定器による局所的直交性の強制により、GMAMPは低複雑性でベイズ最適性能を達成し、一意の固定点が存在する場合、ユニタリに不変な行列に対してレプリカ最小平均二乗誤差に達することが証明される。

ABSTRACT

Generalized approximate message passing (GAMP) is a promising technique for unknown signal reconstruction of generalized linear models (GLM). However, it requires that the transformation matrix has independent and identically distributed (IID) entries. In this context, generalized vector AMP (GVAMP) is proposed for general unitarily-invariant transformation matrices but it has a high-complexity matrix inverse. To this end, we propose a universal generalized memory AMP (GMAMP) framework including the existing orthogonal AMP/VAMP, GVAMP, and memory AMP (MAMP) as special instances. Due to the characteristics that local processors are all memory, GMAMP requires stricter orthogonality to guarantee the asymptotic IID Gaussianity and state evolution. To satisfy such orthogonality, local orthogonal memory estimators are established. The GMAMP framework provides a principle toward building new advanced AMP-type algorithms. As an example, we construct a Bayes-optimal GMAMP (BO-GMAMP), which uses a low-complexity memory linear estimator to suppress the linear interference, and thus its complexity is comparable to GAMP. Furthermore, we prove that for unitarily-invariant transformation matrices, BO-GMAMP achieves the replica minimum (i.e., Bayes-optimal) MSE if it has a unique fixed point.

研究の動機と目的

• GAMPはi.i.d. 変換行列を必要とし、GVAMPは行列逆行列計算による高コストを抱えるという制限を解消するため。
• 直交AMP/VAMP、GVAMP、メモリAMPといった既存のAMP型アルゴリズムを、一つの汎用的で一般化可能なフレームワークに統合するため。
• 漸近的なi.i.d. 正規性を保証し、より厳しい直交性制約下での状態遷移を可能にする、メモリベースの推定器アーキテクチャを確立するため。
• GAMPと同等の複雑性を維持しながら、ユニタリに不変な行列に対して最適性能を達成する低複雑性でベイズ最適な変種（BO-GMAMP）を開発するため。
• ユニタリに不変な行列に対して一意の固定点が存在する条件の下で、BO-GMAMPがレプリカ最小平均二乗誤差（すなわちベイズ最適性）に達することを証明するため。

提案手法

• 局所的直交性を強制し、漸近的なi.i.d. 正規性を保証するため、メモリベースの線形および非線形推定器を備えた一般化メモリAMP（GMAMP）フレームワークを提案する。
• 反復処理における直交性を維持するため、直交メモリ線形推定器（OMLE）と直交メモリ非線形推定器（OMNLE）を導入する。
• 高価な行列逆行列を回避する低複雑性のメモリ線形推定器を用いて、ベイズ最適なGMAMP（BO-GMAMP）を構築し、線形干渉を抑制する。
• BO-GMAMPの状態遷移方程式を導出し、推定誤差の平均と分散が決定的再帰に従って進化することを示す。
• 特に条件数が悪い系において収束安定性と速度を向上させるために、長さ$L$のダミング技術を採用する。
• 2推定器アーキテクチャを採用：干渉抑制のためのメモリ線形推定器と信号再構成のためのメモリ非線形推定器を、反復的に更新する。

実験結果

リサーチクエスチョン

• RQ1 直交AMP/VAMP、GVAMP、メモリAMPといった既存のAMP型アルゴリズムを、共通の理論的枠組みに統一するフレームワークを開発可能か？
• RQ2 メモリベースの推定器は、AMPアルゴリズムの状態遷移において直交性を維持し、漸近的なi.i.d. 正規性を保証するようにどのように設計可能か？
• RQ3 非i.i.d. 変換行列を有する一般化線形モデルにおいて、ベイズ最適性を達成するための最小限の計算複雑性は何か？
• RQ4 提案されたBO-GMAMPアルゴリズムは、ユニタリに不変な行列に対して一意の固定点が存在する条件の下で、レプリカ最小平均二乗誤差に達するか？
• RQ5 条件数$\kappa$、圧縮比$\delta$、ダミング長$L$といったシステムパラメータは、BO-GMAMPの収束速度と性能にどのように影響を与えるか？

主な発見

• BO-GMAMPは、一意の固定点が存在する場合、ユニタリに不変な変換行列に対してレプリカ最小平均二乗誤差（すなわちベイズ最適性）に達する。
• $\kappa = 10, 30, 50$の各場合、ダミング長$L=3$の下で、それぞれ約25、45、60イテレーションで収束し、条件数が高くなるほど収束が遅くなることが示された。
• $\delta = 0.4, 0.7, 1$の各場合、BO-GMAMPはそれぞれ約65、20、12イテレーションで収束し、圧縮比が低いほど情報損失により収束が遅くなることが明らかになった。
• BO-GMAMPは$L=3$のとき$L=2$よりも速く収束し、$\delta=1$のとき$L=2$と$L=3$の性能曲線はほぼ一致しており、完全サンプリング時におけるほぼ最適な収束が達成されていることが示された。
• BO-GMAMPの状態遷移は解析的に導出され、平均二乗誤差の挙動を正確に予測できることを示し、理論的枠組みの妥当性が裏付けられた。
• BO-GMAMPの複雑性は、高コストな行列逆行列を避ける低複雑性のメモリ線形推定器の使用により、GAMPと同等の水準であり、GVAMPの高コストな逆行列計算を回避した。