[论文解读] Approximate Message Passing algorithms for rotationally invariant matrices

Fan Zhou|arXiv (Cornell University)|Aug 27, 2020

Blind Source Separation Techniques被引用 9

一句话总结

本文通过使用矩阵谱分布的自由累积量，严格推导了旋转对称随机矩阵上应用的近似消息传递（AMP）算法的Onsager校正和状态演化。研究证明，在大信号强度和非高斯先验条件下，所提出的贝叶斯-AMP算法在结构化主成分分析中的估计精度高于标准样本主成分。

ABSTRACT

Approximate Message Passing (AMP) algorithms have seen widespread use across a variety of applications. However, the precise forms for their Onsager corrections and state evolutions depend on properties of the underlying random matrix ensemble, limiting the extent to which AMP algorithms derived for white noise may be applicable to data matrices that arise in practice. In this work, we study more general AMP algorithms for random matrices $W$ that satisfy orthogonal rotational invariance in law, where $W$ may have a spectral distribution that is different from the semicircle and Marcenko-Pastur laws characteristic of white noise. The Onsager corrections and state evolutions in these algorithms are defined by the free cumulants or rectangular free cumulants of the spectral distribution of $W$. Their forms were derived previously by Opper, Çakmak, and Winther using non-rigorous dynamic functional theory techniques, and we provide rigorous proofs. Our motivating application is a Bayes-AMP algorithm for Principal Components Analysis, when there is prior structure for the principal components (PCs) and possibly non-white noise. For sufficiently large signal strengths and any non-Gaussian prior distributions for the PCs, we show that this algorithm provably achieves higher estimation accuracy than the sample PCs.

研究动机与目标

• 将近似消息传递（AMP）算法的理论基础从i.i.d.或白噪声矩阵推广至一般旋转对称随机矩阵。
• 严格证明依赖于矩阵谱分布自由累积量的AMP的Onsager校正和状态演化公式。
• 为具有非白噪声和非高斯主成分先验的结构化主成分分析（PCA）开发贝叶斯-AMP算法。
• 在高信号强度和非高斯先验条件下，证明AMP算法在估计精度上优于经典样本PCA。
• 通过自由概率理论，在大维极限下建立非i.i.d.矩阵集合的状态演化和Onsager校正的有效性。

提出的方法

• 利用旋转对称矩阵谱分布的自由累积量（或矩形自由累积量）推导AMP的状态演化和Onsager校正。
• 应用自由概率理论中的工具，包括非交叉划分和Möbius反演，将累积量表示为矩的函数。
• 在矩形概率空间中使用条件期望，定义并分析矩形矩阵的矩形自由累积量。
• 通过累积量和矩增长的界，建立谱分布R-变换的解析性。
• 通过引入主成分的先验知识和非高斯噪声模型，将AMP框架应用于结构化PCA。
• 采用Wasserstein收敛和经验谱分布分析，证明AMP迭代在渐近下服从高斯分布。

实验结果

研究问题

• RQ1 如何将Onsager校正和状态演化从i.i.d.矩阵推广至旋转对称集合？
• RQ2 自由累积量在刻画非白、旋转对称矩阵AMP状态演化中起什么作用？
• RQ3 当主成分具有非高斯先验且噪声非白时，PCA的贝叶斯-AMP算法能否实现高于样本PCA的估计精度？
• RQ4 在大维极限下，此类矩阵的AMP迭代分布在何种条件下收敛至高斯极限？
• RQ5 如何利用自由概率理论的理论框架，严格证明一般旋转对称矩阵集合AMP的状态演化？

主要发现

• AMP的Onsager校正和状态演化完全由旋转对称矩阵W的谱分布的自由累积量表征。
• 对于矩形矩阵，状态演化依赖于通过非交换概率空间中条件期望结构导出的矩形自由累积量。
• 谱分布的R-变换在半径为(16M)⁻²比例的圆盘内解析，其中M为谱测度矩的上界。
• 当信号强度足够大且主成分先验为非高斯时，结构化PCA的贝叶斯-AMP算法在估计精度上可严格优于样本PCA。
• 在给定的谱和矩条件下，AMP迭代经验分布收敛至高斯极限的结论被严格建立。
• 该框架推广了先前针对i.i.d.和块i.i.d.矩阵的结果，为非高斯、相关矩阵集合提供了一体化方法。