[论文解读] Linearized and Turbo Belief Propagation.

Wolfgang Gatterbauer, Stephan Günnemann+2 more|arXiv (Cornell University)|Jun 27, 2014

Error Correcting Code Techniques参考文献 38被引用 1

一句话总结

本文提出了线性化信念传播（LBP）和涡轮信念传播（TBP），为网络中的节点分类提供了保证收敛的、基于矩阵的线性替代方法，替代标准信念传播。LBP 通过矩阵运算实现闭式解，而 TBP 提供了局部化、可增量更新的预测，两者在性能上接近标准 BP，但速度高出数个数量级，并具备紧凑的 SQL 实现。

ABSTRACT

How can we tell when accounts are fake or real in a social network? And how can we tell which accounts belong to liberal, conservative or centrist users? Often, we can answer such questions and label the class of a node in a network based on its neighbors and appropriate assumptions of ho-mophily (“birds of a feather flock together”) or heterophily (“opposites attract”). One of the most widely used methods for this kind of reasoning is Belief Propagation (BP) which iteratively propagates the information from a few nodes with explicit beliefs throughout the network until it converges. However, one main problem with BP is that there are no guarantees of convergence in general graphs with loops. This paper introduces Linearized Belief Propagation (LPB), a linearization of BP that allows a closed-form solu-tion via intuitive matrix calculations and, thus, comes with convergence guarantees. It handles homophily, heterophily, and more general cases that arise in multi-class settings. The paper also introduces Turbo Belief Propagation (TBP), a “localized ” version of LBP for which the final class assign-ments depend only on the nearest labeled neighbors. TBP (in contrast to standard BP and LBP) allows fast incremen-tal updates in case of new explicit labels or new edges in the graph. We show an intuitive connection between LBP and TBP by proving that the labeling assignments for both are identical in the limit of decreasing coupling strengths between nodes in the graph. Importantly, the linearized matrix equations of both new methods allow compact imple-mentations in SQL. Finally, our runtime experiments show that both new methods are orders of magnitude faster than standard BP while leading to almost identical node labels. 1.

研究动机与目标

• 解决标准信念传播在环状图上缺乏收敛保证的问题。
• 开发一种线性化方法，通过矩阵运算实现闭式解，以实现更快、更可靠的节点分类。
• 设计一种局部化变体（TBP），支持在新增标签或边时实现快速增量更新。
• 通过证明在弱耦合极限下两者等价，将 LBP 和 TBP 统一于同一框架下。
• 实现节点分类在 SQL 中的紧凑高效实现，以支持可扩展的部署。

提出的方法

• LBP 将信念传播的更新方程线性化为一组线性矩阵方程，可通过矩阵求逆或迭代求解器直接求解。
• TBP 仅将影响限制在最近的已标记邻居上，从而实现局部计算和快速增量更新。
• 通过引入反映节点间相似性或差异性的边权重，模型同时支持同质性与异质性。
• 理论分析证明，在节点间耦合强度趋近于零的极限下，LBP 与 TBP 产生完全相同的标签分配。
• 线性方程被设计为可直接在 SQL 中实现，从而支持基于数据库的高效部署。
• 通过运行时实验对比了标准 BP，评估了两种方法在速度和标签准确率方面的表现。

实验结果

研究问题

• RQ1 我们能否在一般环状图上实现信念传播的收敛保证？
• RQ2 如何设计一种线性化信念传播版本，以实现闭式解并加快计算速度？
• RQ3 我们能否创建一种支持高效增量更新的局部化信念传播变体？
• RQ4 线性化与局部化信念传播变体之间存在何种理论关系？
• RQ5 所得到的方法能否在 SQL 中高效实现，以支持可扩展的网络分类？

主要发现

• LBP 和 TBP 在节点标记准确率上几乎与标准信念传播一致，但速度高出数个数量级。
• LBP 的线性矩阵公式保证了收敛性，而标准 BP 在环状图上可能发散。
• TBP 在新增标签或边时支持快速增量更新，而标准 BP 和 LBP 无法实现。
• 在节点间耦合强度趋近于零的极限下，LBP 与 TBP 产生完全相同的标签分配，建立了两种方法之间的理论联系。
• 两种方法的线性方程均可在 SQL 中实现为紧凑高效的代码，支持在数据库系统中可扩展地部署。
• 运行时实验确认，LBP 和 TBP 在执行速度上显著优于标准 BP，且不损失标签准确率。