[论文解读] Local convexity of the TAP free energy and AMP convergence for Z2-synchronization

Michael Celentano, Zhou Fan+1 more|arXiv (Cornell University)|Jun 21, 2021

Blind Source Separation Techniques参考文献 102被引用 4

一句话总结

该论文建立了 Z2-同步中 TAP 自由能的局部凸性，并证明当信号强度 λ > 1 时，近似消息传递（AMP）和自然梯度下降法会线性收敛至唯一的局部极小值点。通过证明在贝叶斯后验均值附近具有强凸性，并提供超越状态演化分析的有限样本收敛保证，该研究为高维场景下的 TAP 变分推断提供了严格的理论基础。

ABSTRACT

We study mean-field variational Bayesian inference using the TAP approach, for Z2-synchronization as a prototypical example of a high-dimensional Bayesian model. We show that for any signal strength $λ> 1$ (the weak-recovery threshold), there exists a unique local minimizer of the TAP free energy functional near the mean of the Bayes posterior law. Furthermore, the TAP free energy in a local neighborhood of this minimizer is strongly convex. Consequently, a natural-gradient/mirror-descent algorithm achieves linear convergence to this minimizer from a local initialization, which may be obtained by a constant number of iterates of Approximate Message Passing (AMP). This provides a rigorous foundation for variational inference in high dimensions via minimization of the TAP free energy. We also analyze the finite-sample convergence of AMP, showing that AMP is asymptotically stable at the TAP minimizer for any $λ> 1$, and is linearly convergent to this minimizer from a spectral initialization for sufficiently large $λ$. Such a guarantee is stronger than results obtainable by state evolution analyses, which only describe a fixed number of AMP iterations in the infinite-sample limit. Our proofs combine the Kac-Rice formula and Sudakov-Fernique Gaussian comparison inequality to analyze the complexity of critical points that satisfy strong convexity and stability conditions within their local neighborhoods.

研究动机与目标

• 在 Z2-同步中，建立 TAP 自由能在贝叶斯后验均值附近的局部极小值点的存在性与唯一性。
• 证明该局部极小值点邻域内 TAP 自由能的强凸性，从而确保优化算法的快速收敛。
• 为 AMP 和自然梯度下降法提供超越渐近状态演化分析的有限样本收敛保证。
• 严格证明 TAP-变分推断是高维贝叶斯推断中一种可靠的方法，适用于突变矩阵模型。
• 通过线性化 AMP 算子的谱半径界，分析 AMP 从谱初始化出发的稳定性和收敛性。

提出的方法

• 利用 Kac-Rice 公式分析满足强凸性和稳定性条件的临界点在局部邻域内的复杂性。
• 应用 Sudakov-Fernique 高斯比较不等式，推导 TAP 自由能及其局部强凸性参数的下界。
• 通过将 AMP 状态变量重新参数化为 p = arctanh(m)，控制雅可比矩阵的算子范数，确保线性收敛。
• 通过分析线性化 AMP 算子的谱半径，建立从谱初始化出发的渐近稳定性和线性收敛性。
• 结合 TAP 泛函的统一连续性与集中度论证，在高维设置下控制偏差。
• 采用一种新颖的参数化方法，确保雅可比矩阵块的行范数与列范数均较小，从而实现谱范数的控制。

实验结果

研究问题

• RQ1 在 Z2-同步中，当 λ > 1 时，TAP 自由能是否在贝叶斯后验均值附近存在唯一的局部极小值点？
• RQ2 该极小值点邻域内，TAP 自由能是否具有强凸性，从而支持快速优化？
• RQ3 当 λ 足够大时，AMP 是否能从谱初始化出发线性收敛至 TAP 极小值点？
• RQ4 AMP 和自然梯度下降的收敛性与仅描述无限样本极限下固定迭代次数的状态演化分析相比如何？
• RQ5 雅可比矩阵的谱半径在确保 AMP 局部稳定性和收敛性方面起什么作用？

主要发现

• 对于任意 λ > 1，TAP 自由能在贝叶斯后验律均值附近存在唯一的局部极小值点。
• 该极小值点邻域内，TAP 自由能具有强凸性，确保自然梯度下降法从局部初始化出发可实现线性收敛。
• 当 λ 足够大时，AMP 从谱初始化出发线性收敛至 TAP 极小值点，收敛速率被 (2λ^{-1/5})^r 控制。
• 线性化 AMP 算子的谱半径以高概率远离 1，确保渐近稳定性。
• 收敛保证强于状态演化分析，后者仅描述无限样本极限下的固定迭代过程。
• 数值结果验证了收敛性的普适性，适用于不同噪声分布，并证实 TAP 在估计后验均值方面优于平均场变分贝叶斯方法。