[论文解读] Analysis of Random Sequential Message Passing Algorithms for Approximate Inference

Burak Çakmak, Yue M. Lu+1 more|arXiv (Cornell University)|Feb 16, 2022

Gaussian Processes and Bayesian Inference参考文献 33被引用 3

一句话总结

本文分析了在具有随机协方差矩阵的大规模高斯隐变量模型中，用于近似推理的随机顺序消息传递算法。通过动力学功能方法，推导出该算法动力学的精确平均场方程，并识别出一个参数区域——由 de Almeida-Thouless 稳定性条件定义——在此区域内即使存在模型不匹配，收敛性也会失败。

ABSTRACT

We analyze the dynamics of a random sequential message passing algorithm for approximate inference with large Gaussian latent variable models in a student-teacher scenario. To model nontrivial dependencies between the latent variables, we assume random covariance matrices drawn from rotation invariant ensembles. Moreover, we consider a model mismatching setting, where the teacher model and the one used by the student may be different. By means of dynamical functional approach, we obtain exact dynamical mean-field equations characterizing the dynamics of the inference algorithm. We also derive a range of model parameters for which the sequential algorithm does not converge. The boundary of this parameter range coincides with the de Almeida Thouless (AT) stability condition of the replica symmetric ansatz for the static probabilistic model.

研究动机与目标

• 将消息传递动力学的理论分析从并行更新扩展到随机顺序更新方案。
• 研究具有随机、旋转不变协方差矩阵的大规模隐高斯模型中的推理问题。
• 解决数据生成模型（教师模型）与推理模型（学生模型）之间的模型不匹配问题。
• 利用动力学功能方法，推导出顺序算法动力学的精确平均场方程。
• 识别出顺序算法无法收敛的参数范围，并将其与 de Almeida-Thouless 稳定性条件相联系。

提出的方法

• 构建一种随机顺序消息传递算法，其中每个节点在每次迭代中以固定概率被更新。
• 应用动力学功能方法以解耦自由度，并推导出有效的单节点演化方程。
• 引入多个时间依赖的序参量，以描述在模型不匹配下的动力学行为。
• 由于有效动力学中缺乏记忆项，推导出两时间相关函数的可处理递推公式。
• 使用副本对称假设和 de Almeida-Thouless 条件分析收敛边界。
• 通过在有限尺寸系统上对算法进行数值模拟，验证理论预测。

实验结果

研究问题

• RQ1 在具有随机协方差矩阵的大规模高斯隐变量模型中，随机顺序消息传递算法的行为如何？
• RQ2 在何种条件下，该顺序消息传递算法会无法收敛？
• RQ3 教师模型与学生模型之间的模型不匹配如何影响算法的收敛性和动力学行为？
• RQ4 动力学功能方法是否能为无记忆项的顺序消息传递推导出精确的平均场方程？
• RQ5 非收敛边界是否与已建立的统计力学稳定性条件相关？

主要发现

• 随机顺序消息传递算法表现出无记忆的有效单节点动力学，使得两时间相关函数的可计算性得以实现。
• 该算法的收敛性仅在特定参数区域内保证，且该区域的边界与副本对称假设下的 de Almeida-Thouless 稳定性条件完全一致。
• 在存在模型不匹配的情况下，算法可能无法收敛，且这种失败可通过与概率模型静态稳定性相同的 AT 条件进行解析表征。
• 理论预测的动力学行为，包括序参量和相关函数，已通过在有限系统上的数值模拟得到验证。
• 推导出的平均场方程能准确描述顺序算法的极限动力学行为，即使在由旋转不变随机协方差矩阵引起的非平凡依赖关系下亦成立。
• 有效动力学中缺乏记忆项，使得跨时间步的联合统计量能够实现递归计算，这对收敛性分析至关重要。