[论文解读] Inverse problems for structured datasets using parallel TAP equations and RBM

Aurélien Decelle, Sungmin Hwang+2 more|arXiv (Cornell University)|Jun 27, 2019

Diffusion and Search Dynamics参考文献 4被引用 2

一句话总结

该论文提出了一种新颖的并行TAP基算法，用于求解二值聚类数据集中的逆问题，利用Thouless-Anderson-Palmer方程高效推断Hopfield模型中的教师模式。该方法在样本数更少、系统规模更大的情况下，性能优于以往方法；同时揭示了近似消息传递（AMP）在直接问题中无法再现热力学行为，而与RBM学习相比，后者收敛于数据的主子空间而非精确的教师模式。

ABSTRACT

We propose an efficient algorithm to solve inverse problems in the presence of binary clustered datasets. We consider the paradigmatic Hopfield model in a teacher student scenario, where this situation is found in the retrieval phase. This problem has been widely analyzed through various methods such as mean-field approaches or the pseudo-likelihood optimization. Our approach is based on the estimation of the posterior using the Thouless-Anderson-Palmer (TAP) equations in a parallel updating scheme. At the difference with other methods, it allows to retrieve the exact patterns of the teacher and the parallel update makes it possible to apply it for large system sizes. We also observe that the Approximate Message Passing (AMP) equations do not reproduce the expected behavior in the direct problem, questioning the standard practice used to obtain time indexes coming from Belief Propagation (BP). We tackle the same problem using a Restricted Boltzmann Machine (RBM) and discuss the analogies between the two algorithms.

研究动机与目标

• 解决在低样本复杂度下从结构化二值数据集中推断隐藏模式的挑战。
• 通过使用基于TAP方程的贝叶斯框架，克服现有方法在聚类或多重吸引子数据集上性能不佳的局限性。
• 研究近似消息传递（AMP）方程在Hopfield模型直接问题中为何无法再现预期的热力学行为。
• 比较基于TAP的算法与受限玻尔兹曼机（RBM）学习在模式推断中的性能与收敛特性。

提出的方法

• 采用并行更新Thouless-Anderson-Palmer（TAP）方程，以估计后验边际概率，并在教师-学生场景中推断教师模式。
• 应用贝叶斯推断框架，其中后验概率与似然成正比，且教师模式采用均匀先验。
• 采用并行TAP方案，实现对大系统规模（N = 1000）的可扩展性，这与以往的平均场或伪似然方法不同。
• 推导P > 1个模式的对数似然，用于定义推断目标，避免直接计算配分函数。
• 与RBM学习进行比较，采用持久对比散度（PCD）进行优化，通过隐藏单元的蒙特卡洛采样来优化伪似然。
• 通过奇异值分解（SVD）分析收敛性，衡量RBM权重子空间在训练过程中与数据模式对齐的程度。

实验结果

研究问题

• RQ1 并行TAP基算法是否能在聚类二值数据集中，以更少的观测配置实现优于现有方法的推断精度？
• RQ2 为何近似消息传递（AMP）方程在Hopfield模型的直接问题中无法再现正确的热力学行为？
• RQ3 RBM学习是否收敛于精确的教师模式，还是仅收敛于由数据主成分张成的子空间？
• RQ4 TAP算法在检索阶段的性能如何随系统规模和温度变化而变化？
• RQ5 Hopfield模型的对称性在多大程度上阻碍了RBM恢复真实的教师模式？

主要发现

• 并行TAP算法在远少于标准方法所需样本数的情况下，成功恢复了教师模式，尤其在聚类相中表现更优。
• 在低温区域（β > 1），TAP方法在M ∼ O(N)样本下可实现完美模式恢复；而当β < 1时，存在一个临界样本阈值。
• AMP方程在直接问题中无法再现预期的热力学行为，对其在信念传播时间索引推断中的标准应用提出质疑。
• 由于Hopfield模型的旋转对称性，RBM学习无法恢复精确的教师模式，而是收敛于由数据主成分张成的子空间。
• SVD分析表明，RBM权重子空间与数据主导模式对齐，投影误差tα从训练初期到末期显著降低。
• 在数据聚类且样本数有限时，基于TAP的算法在模式恢复精度上优于RBM。