[论文解读] On Orthogonal Approximate Message Passing

Lei Liu, Yiyao Cheng+3 more|arXiv (Cornell University)|Mar 1, 2022

Fault Detection and Control Systems被引用 5

一句话总结

本文提出了正交近似消息传递（OAMP），一种新颖的消息传递框架，通过格拉姆-施密特正交化，确保渐近独立同分布高斯（AIIDG）估计误差，从而无需使用昂索格校正项。该框架统一了AMP、EP和Turbo算法，基于单一正交原则，实现了在具有可分函数和多重约束的高维系统中稳定、高效的估计。

ABSTRACT

Approximate Message Passing (AMP) is an efficient iterative parameter-estimation technique for certain high-dimensional linear systems with non-Gaussian distributions, such as sparse systems. In AMP, a so-called Onsager term is added to keep estimation errors approximately Gaussian. Orthogonal AMP (OAMP) does not require this Onsager term, relying instead on an orthogonalization procedure to keep the current errors uncorrelated with (i.e., orthogonal to) past errors. \LL{In this paper, we show the generality and significance of the orthogonality in ensuring that errors are "asymptotically independently and identically distributed Gaussian" (AIIDG).} This AIIDG property, which is essential for the attractive performance of OAMP, holds for separable functions. \LL{We present a simple and versatile procedure to establish the orthogonality through Gram-Schmidt (GS) orthogonalization, which is applicable to any prototype. We show that different AMP-type algorithms, such as expectation propagation (EP), turbo, AMP and OAMP, can be unified under the orthogonal principle.} The simplicity and generality of OAMP provide efficient solutions for estimation problems beyond the classical linear models. \LL{As an example, we study the optimization of OAMP via the GS model and GS orthogonalization.} More related applications will be discussed in a companion paper where new algorithms are developed for problems with multiple constraints and multiple measurement variables.

研究动机与目标

• 建立一个通用的消息传递框架，避免迭代算法中由相关估计误差引起的不稳定性。
• 证明消息更新中的正交性可导致渐近独立同分布高斯（AIIDG）误差特性，这对性能保证至关重要。
• 利用格拉姆-施密特正交化，将AMP、EP、Turbo和VAMP等多种算法统一于单一正交原则之下。
• 为具有非高斯先验和多重约束的高维系统，提供一种通用且可扩展的消息传递算法设计方法。
• 通过正交设计和状态演化分析，实现对经典线性系统之外复杂模型的高效估计。

提出的方法

• 提出格拉姆-施密特（GS）正交化过程，强制当前与过去估计误差之间正交，确保更新无相关性。
• 引入GS模型，其中局部估计器被设计为正交，从而抑制相关误差分量的反馈。
• 使用状态演化分析追踪估计误差的渐近行为，表明在可分函数下收敛至AIIDG。
• 采用双处理器迭代结构（γ 和 φ），每个处理器对其接收的消息应用其估计器，正交投影可防止误差循环。
• 推导出在大系统极限下误差向量归一化内积趋于零的条件（LLN），确保稳定性。
• 建立正交估计器（γₜ, φₜ）满足 E[𝐱ᵀ𝐟ₜ^out] → 0 和 E[𝒳ᵀ𝐠ₜ^out] → 0，这是实现AIIDG行为的关键。

实验结果

研究问题

• RQ1 消息传递算法中的正交性是否能确保估计误差渐近为独立同分布高斯（AIIDG）分布，而无需依赖昂索格校正项？
• RQ2 如何构建一个统一框架，将AMP、EP、Turbo和VAMP统一于单一正交原则之下？
• RQ3 格拉姆-施密特正交化在稳定迭代消息传递方案和防止误差反馈中起什么作用？
• RQ4 在大系统极限下，误差向量归一化内积在何种条件下趋于零，以确保误差无相关性？
• RQ5 该正交框架能否推广至具有多重约束和多个测量变量的系统，超越经典线性模型？

主要发现

• 估计器的正交性确保在大系统极限下误差向量的归一化内积趋于零，即 (1/N)𝐱ᵀ𝐟ₜ^out → 0 和 (1/N)𝒳ᵀ𝐠ₜ^out → 0，这对AIIDG行为至关重要。
• AIIDG特性适用于可分函数，从而在高维估计中实现可靠的性能分析和收敛性保证。
• 通过格拉姆-施密特正交化强制正交性，OAMP消除了对昂索格校正项的需求，简化了算法设计。
• 该框架将AMP、EP、Turbo和VAMP统一于单一正交原则下，表明这些算法均为OAMP的特例。
• 状态演化分析证实，误差向量在迭代过程中保持无相关性，防止正反馈，确保稳定性。
• 理论结果通过归纳法和LLN收敛性验证，表明正交性可抑制直接与间接误差反馈回路。