[论文解读] Belief Propagation Neural Networks

Jonathan Kuck, Shuvam Chakraborty+5 more|arXiv (Cornell University)|Jul 1, 2020

Machine Learning and Data Classification参考文献 47被引用 16

一句话总结

本文提出信念传播神经网络（BPNNs），一种可微分的、参数化的信念传播推广方法，在保持关键理论保证的同时，能够更准确、更高效地估计因子图中的分区函数。在伊辛模型上，BPNNs 的收敛速度比标准信念传播快 1.7 倍，并且在模型计数任务上比手工设计的方法快达 100 倍，同时保持相近的精度，且在分布外图和更大规模实例上表现出良好的泛化能力。

ABSTRACT

Learned neural solvers have successfully been used to solve combinatorial optimization and decision problems. More general counting variants of these problems, however, are still largely solved with hand-crafted solvers. To bridge this gap, we introduce belief propagation neural networks (BPNNs), a class of parameterized operators that operate on factor graphs and generalize Belief Propagation (BP). In its strictest form, a BPNN layer (BPNN-D) is a learned iterative operator that provably maintains many of the desirable properties of BP for any choice of the parameters. Empirically, we show that by training BPNN-D learns to perform the task better than the original BP: it converges 1.7x faster on Ising models while providing tighter bounds. On challenging model counting problems, BPNNs compute estimates 100's of times faster than state-of-the-art handcrafted methods, while returning an estimate of comparable quality.

研究动机与目标

• 解决组合问题中高效、准确近似计数的差距，尽管决策和优化任务的神经网络求解器已取得进展，但此类问题仍主要依赖手工设计的求解器。
• 开发一种推广信念传播（BP）的神经架构，同时保留其理想的理论特性，如在树状图上的收敛性以及在带环图上的可证明下界。
• 实现对训练过程中未见过的分布外因子图和更大规模实例的泛化，提升鲁棒性和可扩展性。
• 提升在模型计数等困难问题上的估计精度与速度，这些问题中标准 BP 无法收敛。
• 通过设计尊重对称性并保持 BP 结构不变性的层，弥合可微分神经网络与概率推理之间的鸿沟。

提出的方法

• 提出 BPNN-D，一种可微分的、迭代的、参数化的算子，推广标准信念传播，同时在树状图上保持收敛性保证，并在满足弱约束条件下于带环图上保持可证明的下界。
• 引入 BPNN-B，一种基于回归的层，将固定迭代次数内的信念轨迹映射到真实的分区函数，以牺牲部分理论保证为代价，换取更高的灵活性和性能。
• 设计 BPNN-D 和 BPNN-B 以保持因子图同构下的不变性，确保无论节点标签或图排列如何，预测结果一致。
• 使用已知分区函数的因子图数据集，通过预测与真实对数分区函数之间的均方误差进行端到端训练。
• 在单张 GPU 上使用标准的 Adam 优化器，批量大小为 8，固定初始学习率为 2e-4，训练 300 个周期以优化参数。
• 利用因子图的结构和消息传递动态，嵌入学习到的消息更新机制，使其能在不同图拓扑和规模间泛化。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，在推广信念传播的同时保留其关键理论特性，如在树状图上的收敛性和在带环图上的可证明下界？
• RQ2 所学习的 BP 变体在不同边和类别概率分布的因子图上，或在变量数量远超训练时的图上，泛化能力如何？
• RQ3 在密集的全连接图（如随机块模型）上，BPNN 在估计分区函数和边缘概率时，能否显著优于标准信念传播和图神经网络？
• RQ4 在标准 BP 无法收敛的 SAT 问题中，BPNN 能否仅用少量训练样本实现高精度的模型计数估计？
• RQ5 在硬实例上，BPNN 在速度和精度方面与手工设计的近似模型计数器相比表现如何？

主要发现

• 在伊辛模型上，BPNN-D 的收敛速度比标准信念传播快 1.7 倍，且始终能收敛到提供更紧分区函数下界的固定点。
• BPNN-D 在分布外的伊辛模型上泛化良好，包括变量数量接近两倍于训练集的图，其对数分区函数估计显著优于 BP 和标准 GNN。
• 在社区发现任务中，BPNN 在性能上优于 BP 和标准 GNN，表明其在 BP 已被证明在理论和实证上均有效的场景中仍具优势。
• 在近似模型计数任务中，BPNN 仅需数十个训练问题即可学习到高精度估计，且计算速度比最先进的手工设计求解器快 100 倍，同时保持相近的估计质量。
• 在分布外的随机块模型（最多 20 个节点，比训练时多 80% 的边）上，BPNN 在对数分区函数估计上的均方根误差（RMSE）低于 BP 和 GNN，显示出更强的泛化能力。
• 尽管在 15 个节点的图上，BPNN 在边缘概率估计上比 BP 准确近 5 个数量级，但仅比 GNN 高约一个数量级，表明尽管 BPNN 专注于分区函数，其边缘概率估计任务仍具挑战性。