[论文解读] Estimation in Rotationally Invariant Generalized Linear Models via Approximate Message Passing

Ramji Venkataramanan, Kevin Kögler+1 more|arXiv (Cornell University)|Dec 8, 2021

Blind Source Separation Techniques被引用 11

一句话总结

本文提出了一种新型的近似消息传递算法——旋转不变近似消息传递（RI-GAMP），适用于具有旋转不变设计矩阵的广义线性模型。该算法在高维极限下实现了状态演化表征，通过避免奇异值分解（SVD）显著降低了计算成本，同时在计算复杂度上远低于向量AMP（Vector AMP），且在设计矩阵为i.i.d.高斯分布时可退化为标准GAMP。

ABSTRACT

We consider the problem of signal estimation in generalized linear models defined via rotationally invariant design matrices. Since these matrices can have an arbitrary spectral distribution, this model is well suited for capturing complex correlation structures which often arise in applications. We propose a novel family of approximate message passing (AMP) algorithms for signal estimation, and rigorously characterize their performance in the high-dimensional limit via a state evolution recursion. Our rotationally invariant AMP has complexity of the same order as the existing AMP derived under the restrictive assumption of a Gaussian design; our algorithm also recovers this existing AMP as a special case. Numerical results showcase a performance close to Vector AMP (which is conjectured to be Bayes-optimal in some settings), but obtained with a much lower complexity, as the proposed algorithm does not require a computationally expensive singular value decomposition.

研究动机与目标

• 为具有旋转不变设计矩阵的广义线性模型开发一种高效的近似消息传递算法，该设计矩阵推广了i.i.d.高斯矩阵并能捕捉复杂的相关结构。
• 通过状态演化递推关系，严格刻画所提算法在高维极限下的性能表现。
• 与现有方法（如向量AMP）相比，降低计算复杂度，后者需要昂贵的奇异值分解计算。
• 通过引入设计矩阵谱分布的自由累积量，统一并扩展现有的AMP框架。
• 为分析其他估计器（如谱方法）在旋转不变广义线性模型中的性能，提供一个灵活的分析框架。

提出的方法

• 该算法RI-GAMP使用一对依赖于旋转不变设计矩阵谱分布自由累积量的多变量去噪函数。
• 通过一个状态演化递推关系迭代更新信号估计，该递推关系追踪了当维度趋于无穷大时算法的渐近行为。
• 状态演化推导基于谱分布自由累积量已知的假设，从而实现对性能的精确预测。
• 该方法利用旋转不变性，避免了对设计矩阵进行SVD计算，将计算复杂度降低至与标准GAMP相同的量级。
• 当设计矩阵为i.i.d.高斯分布时，该算法精确退化为标准GAMP，确保与现有理论的一致性。
• 理论分析基于一种新颖的状态演化证明方法，结合数学归纳法与测度集中性论证，通过柯西-施瓦茨不等式与利普希茨连续性条件建立收敛性。

实验结果

研究问题

• RQ1 能否为具有旋转不变设计矩阵的广义线性模型设计一种近似消息传递算法，同时保持低计算复杂度？
• RQ2 在高维设置下，所提出的RI-GAMP算法是否能实现与贝叶斯最优估计器（如向量AMP）相近的性能？
• RQ3 能否为RI-GAMP推导出一个严格的、用于刻画其在高维极限下性能的状态演化递推关系？
• RQ4 在合成数据和真实世界数据上，RI-GAMP与向量AMP在精度和计算成本方面的表现如何比较？
• RQ5 该框架能否扩展以分析旋转不变广义线性模型中的谱估计器？

主要发现

• 在线性回归和1比特压缩感知任务中，RI-GAMP的性能与向量AMP极为接近，而后者在某些设定下被推测为贝叶斯最优。
• 该算法的计算复杂度与标准GAMP处于同一数量级，避免了向量AMP所需的昂贵SVD计算。
• RI-GAMP的状态演化递推关系已严格证明，并准确刻画了算法在n,d→∞且δ=n/d保持固定的高维极限下的性能。
• 当设计矩阵为i.i.d.高斯分布时，RI-GAMP精确退化为标准GAMP，验证了其与现有理论的一致性。
• 在合成数据和图像重建任务中的数值结果表明，RI-GAMP在显著降低运行时间的同时，仍能保持高精度，优于基于SVD的替代方法。
• 该理论框架使分析旋转不变广义线性模型中的谱估计器成为可能，为高维统计估计领域开辟了新的研究方向。