[论文解读] Universality of Approximate Message Passing algorithms and tensor networks

Tianhao Wang, Xinyi Zhong+1 more|arXiv (Cornell University)|Jun 27, 2022

Random Matrices and Applications被引用 7

一句话总结

本文在广义随机矩阵类中建立了近似消息传递（AMP）算法的普遍性，包括具有重尾或异质性元素的广义Wigner矩阵和符号与置换不变性矩阵。通过基于张量网络分析的简化矩方法证明，展示了AMP状态演化在普遍性下成立，将先前仅限于i.i.d.高斯或正交不变矩阵的结果扩展至更广泛情形，并建立了与张量网络的渐近自由性。

ABSTRACT

Approximate Message Passing (AMP) algorithms provide a valuable tool for studying mean-field approximations and dynamics in a variety of applications. Although these algorithms are often first derived for matrices having independent Gaussian entries or satisfying rotational invariance in law, their state evolution characterizations are expected to hold over larger universality classes of random matrix ensembles. We develop several new results on AMP universality. For AMP algorithms tailored to independent Gaussian entries, we show that their state evolutions hold over broadly defined generalized Wigner and white noise ensembles, including matrices with heavy-tailed entries and heterogeneous entrywise variances that may arise in data applications. For AMP algorithms tailored to rotational invariance in law, we show that their state evolutions hold over delocalized sign-and-permutation-invariant matrix ensembles that have a limit distribution over the diagonal, including sensing matrices composed of subsampled Hadamard or Fourier transforms and diagonal operators. We establish these results via a simplified moment-method proof, reducing AMP universality to the study of products of random matrices and diagonal tensors along a tensor network. As a by-product of our analyses, we show that the aforementioned matrix ensembles satisfy a notion of asymptotic freeness with respect to such tensor networks, which parallels usual definitions of freeness for traces of matrix products.

研究动机与目标

• 将近似消息传递（AMP）算法的普遍性从i.i.d.高斯矩阵和旋转不变矩阵扩展至更广泛情形。
• 为具有重尾或异方差元素的广义Wigner矩阵和白噪声矩阵集合建立状态演化普遍性。
• 证明去局域化、符号与置换不变矩阵集合的普遍性，包括子采样哈达玛变换和傅里叶变换等结构化矩阵。
• 发展一种简化的矩方法证明，将AMP普遍性简化为沿张量网络结构分析随机矩阵与对角张量乘积的问题。
• 建立此类矩阵集合与张量网络之间的渐近自由性概念，推广经典随机矩阵理论中的迹自由性。

提出的方法

• 将AMP普遍性简化为沿张量网络结构分析随机矩阵与对角张量乘积的问题。
• 采用矩方法证明，通过组合划分索引集来追踪AMP迭代高阶矩的渐近行为。
• 定义关键量如 $ B_n( au_U, au_V) $、$ Q_n( au_U, au_V) $ 和 $ M_n( au_U, au_V) $，以表征矩阵乘积及其相互作用的矩。
• 应用基于划分的索引集分解，以分离与排列相关联的二分图中连通分量的贡献。
• 引入精细化渐近展开，考虑分量间相互作用，表明误差项以 $ O(n^{-1}) $ 或 $ O(n^{-2}) $ 衰减。
• 利用Borel-Cantelli引理与马尔可夫不等式，证明AMP值的四阶矩收敛，确保集中性。

实验结果

研究问题

• RQ1 为i.i.d.高斯矩阵设计的AMP状态演化是否适用于具有重尾或异方差的广义Wigner矩阵？
• RQ2 AMP普遍性能否扩展至仅具有符号与置换不变性的旋转不变矩阵集合，包括子采样傅里叶变换等结构化矩阵？
• RQ3 是否存在一个基于张量网络的统一框架，可简化对多样化随机矩阵集合中AMP普遍性的证明？
• RQ4 这些广义矩阵集合是否表现出与张量网络的某种渐近自由性，类似于经典随机矩阵理论中的自由性？
• RQ5 通过聚焦于张量网络结构而非归纳条件化，能否使矩方法证明更简化且更清晰？

主要发现

• AMP状态演化在广义Wigner矩阵和白噪声矩阵集合中具有普遍性，即使在重尾元素和异方差情况下也成立，包括稀疏随机图在 $ ( ext{log } n)/n $ 稀疏度下仍有效。
• AMP状态演化适用于去局域化、符号与置换不变的矩阵集合，如子采样哈达玛变换和傅里叶变换，这些矩阵支持快速矩阵-向量乘法。
• 该证明方法将AMP普遍性简化为沿张量网络结构分析随机矩阵与对角张量乘积的问题，简化了先前依赖归纳条件化的方法。
• 本文建立该类矩阵集合与张量网络之间渐近自由性的概念，其乘积的极限行为与对角线上满足自由性条件一致。
• AMP值的四阶矩以误差 $ O(n^{-2}) $ 集中于其均值，通过马尔可夫不等式与Borel-Cantelli引理可推出依概率收敛。
• 结果可推广至实际数据应用，包括计数型或含缺失值的数据矩阵的行/列归一化情形，其中方差异质但渐近行为仍保持普遍性。