[論文レビュー] Memory Approximate Message Passing

Lei Liu, Shunqi Huang+1 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Adaptive Filtering Techniques参考文献 33被引用数 4

ひとこと要約

本稿では、右ユニタリに不変な行列を有する高次元線形システムに対して、低複雑性かつベイズ最適なアルゴリズムであるメモリ近似メッセージパッシング（MAMP）を提案する。長時間記憶を持つマッチドフィルタと推定誤差の直交化を組み合わせることで、MAMPは、従来は高複雑性のLMMSEに依存していたOAMP/VAMPと同等の性能を達成しつつ、AMPと同等の複雑性を維持する。

ABSTRACT

Approximate message passing (AMP) is a low-cost iterative parameter-estimation technique for certain high-dimensional linear systems with non-Gaussian distributions. However, AMP only applies to independent identically distributed (IID) transform matrices, but may become unreliable for other matrix ensembles, especially for ill-conditioned ones. To handle this difficulty, orthogonal/vector AMP (OAMP/VAMP) was proposed for general right-unitarily-invariant matrices. However, the Bayes-optimal OAMP/VAMP requires high-complexity linear minimum mean square error estimator. To solve the disadvantages of AMP and OAMP/VAMP, this paper proposes a memory AMP (MAMP), in which a long-memory matched filter is proposed for interference suppression. The complexity of MAMP is comparable to AMP. The asymptotic Gaussianity of estimation errors in MAMP is guaranteed by the orthogonality principle. A state evolution is derived to asymptotically characterize the performance of MAMP. Based on the state evolution, the relaxation parameters and damping vector in MAMP are optimized. For all right-unitarily-invariant matrices, the optimized MAMP converges to OAMP/VAMP, and thus is Bayes-optimal if it has a unique fixed point. Finally, simulations are provided to verify the validity and accuracy of the theoretical results.

研究の動機と目的

• AMPの非i.i.d.または悪条件な行列に対して失敗するという限界を解消すること。
• OAMP/VAMPが高コストの線形MMSE推定に依存するという高計算コストの問題を克服すること。
• 一般の右ユニタリに不変な行列に対して、低複雑性でベイズ最適性を達成するアルゴリズムを開発すること。
• 厳密な直交性制約により推定誤差の漸近的ガウス性を保証すること。
• 収束の高速化と安定性を実現するための緩和パラメータおよび減衰の最適化を行い、統計的性質を損なわないこと。

提案手法

• AMPにおける標準的なマッチドフィルタを長時間記憶を持つマッチドフィルタに置き換えることで、干渉を抑制するメモリAMP（MAMP）を提案する。
• 現在の出力推定誤差がすべての過去の入力推定誤差と直交するという厳密な直交性条件を実装し、誤差の漸近的ガウス性を保証する。
• MAMPの性能を解析的に特徴付けるための共分散行列状態遷移を導出する。
• 収束速度の向上を図るための緩和パラメータと減衰ベクトルを導入し、直交性とガウス性を維持する。
• 状態遷移を用いて、一意な固定点が存在する場合にMAMPがOAMP/VAMPの性能に収束するようにパラメータを最適化する。
• 統計的性質を正確に維持できるように、直交出力に減衰を適用する戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 高コストのLMMSE推定を必要とせず、一般の右ユニタリに不変な行列に対して低複雑性のメッセージパッシングアルゴリズムがベイズ最適性を達成できるか。
• RQ2 記憶と直交化をどのように組み合わせれば、反復アルゴリズムにおける推定誤差の漸近的ガウス性を維持できるか。
• RQ3 緩和および減衰のパrameterチューニング戦略は、メモリベースのAMPにおける安定かつ高速な収束を保証するか。
• RQ4 MAMPの状態遷移が、さまざまな行列の条件数においてその実験的性能を正確に予測できるか。
• RQ5 特に悪条件な行列に対して、MAMPはCAMPやOAMP/VAMPと比較して収束速度と精度で優れているか。

主な発見

• MAMPが一意な固定点に収束する限り、すべての右ユニタリに不変な行列に対してベイズ最適性を達成し、OAMP/VAMPと同等の性能を示す。
• MAMPの状態遷移は、κ=100を含むさまざまな行列の条件数において、その平均二乗誤差（MSE）性能を正確に予測する。
• 緩和パラメータを最適化し、減衰長L=3とした場合、MAMPはCAMPよりも高速に収束し、OAMP/VAMPの性能に一致する。
• 直交出力に適用された減衰は、誤差の漸近的ガウス性を保つが、CAMPではa-posteriori出力に減衰を適用することでこの性質が破壊される。
• 悪条件な行列（κ=100）において、MAMPは安定に収束するが、κ>15ではCAMPは発散する。
• MAMPのMSEは、L≥3の減衰長においてほぼ同一であり、L=3が最適な収束速度と安定性を達成するのに十分であることを示している。