[论文解读] Approximate Message Passing for orthogonally invariant ensembles: Multivariate non-linearities and spectral initialization

Xinyi Zhong, Tianhao Wang+1 more|arXiv (Cornell University)|Oct 5, 2021

Random Matrices and Applications参考文献 51被引用 8

一句话总结

该论文通过引入多变量非线性函数和基于样本特征向量的谱初始化，将近似消息传递（AMP）算法扩展至正交不变的随机矩阵 ensemble。推导出依赖于噪声谱分布自由累积量的精确 Onsager 修正系数与状态演化公式，从而在高维主成分分析（PCA）和贝叶斯推断中实现更优的估计性能，且具备稳定、数据驱动的初始化能力。

ABSTRACT

We study a class of Approximate Message Passing (AMP) algorithms for symmetric and rectangular spiked random matrix models with orthogonally invariant noise. The AMP iterates have fixed dimension $K \geq 1$, a multivariate non-linearity is applied in each AMP iteration, and the algorithm is spectrally initialized with $K$ super-critical sample eigenvectors. We derive the forms of the Onsager debiasing coefficients and corresponding AMP state evolution, which depend on the free cumulants of the noise spectral distribution. This extends previous results for such models with $K=1$ and an independent initialization. Applying this approach to Bayesian principal components analysis, we introduce a Bayes-OAMP algorithm that uses as its non-linearity the posterior mean conditional on all preceding AMP iterates. We describe a practical implementation of this algorithm, where all debiasing and state evolution parameters are estimated from the observed data, and we illustrate the accuracy and stability of this approach in simulations.

研究动机与目标

• 将 AMP 算法从标量迭代推广至具有多变量非线性函数的矩阵值迭代，适用于对称与矩阵阵型的稀疏随机矩阵模型。
• 提出一种基于样本特征向量的谱初始化方法，消除对独立、信息性初始值的需求。
• 推导出依赖于噪声谱分布自由累积量的精确 Onsager 去偏系数与状态演化公式。
• 通过 Bayes-OAMP 算法实现实际的贝叶斯 PCA，该算法采用后验均值非线性函数，并从数据中估计所有参数。

提出的方法

• 提出一种多变量 AMP 框架，其迭代变量为矩阵值 $\mathbf{U}_t \in \mathbb{R}^{n \times K}$，同时在全部 $K$ 个维度上应用非线性函数。
• 推导出依赖于噪声谱分布自由累积量的 Onsager 修正系数，推广了 $K=1$ 时的先前结果。
• 提出一种谱初始化策略，利用数据矩阵的 $K$ 个样本特征向量，将其视为 $\tau \to \infty$ 时线性 AMP 步骤的极限。
• 采用 Wasserstein-2 收敛框架分析谱初始化下 AMP 迭代的渐近行为。
• 开发一种实用的 Bayes-OAMP 算法，其中非线性函数为基于所有先前 AMP 迭代的后验均值。
• 直接从观测数据中估计所有去偏与状态演化参数，实现无需先验知识的数据驱动实现。

实验结果

研究问题

• RQ1 在正交不变 ensemble 中，AMP 采用多变量非线性函数时，Onsager 修正系数与状态演化行为如何？
• RQ2 当通过样本特征向量进行谱初始化时，Onsager 修正与状态演化的正确形式是什么？
• RQ3 与独立初始化相比，谱初始化策略如何影响 AMP 迭代的渐近分布？
• RQ4 能否构建一种 Bayes-OAMP 算法，采用后验均值非线性函数，并在高维 PCA 中实现最优估计风险？
• RQ5 噪声谱分布的自由累积量在谱初始化下对 AMP 动力学有何影响？

主要发现

• 谱初始化下的 Onsager 修正系数形式与以往工作不同，明确依赖于噪声谱分布的自由累积量。
• 推导出谱初始化下 AMP 算法的状态演化公式，并证明其与新初始化方案下迭代的渐近行为一致。
• 所提出的 Bayes-OAMP 算法通过采用后验均值非线性函数与数据驱动的参数估计，实现了贝叶斯 PCA 中接近最优的估计风险。
• 谱初始化方法消除了对独立、信息性初始值的需求，使算法在真实数据中更具实用性。
• 通过模拟验证了理论框架的准确性，表明所提算法在估计低秩结构方面具有高度精度与稳定性。
• 分析避免了对所有自由累积量为正的限制性假设，相比先前工作具有更广泛的应用范围。