[论文解读] Approximating the Permanent with Belief Propagation

Bert Huang, Tony Jebara|ArXiv.org|Aug 12, 2009

Error Correcting Code Techniques参考文献 20被引用 42

一句话总结

该论文提出了一种基于信念传播（BP）的方法，通过构建一个配分函数等于矩阵永久值的概率分布，高效近似非负矩阵的永久值。利用Bethe自由能近似，该算法每轮迭代时间复杂度为$O(n^2)$，在需要排列不变性的核学习任务中表现出色，甚至在某些情况下优于标准RBF核。

ABSTRACT

This work describes a method of approximating matrix permanents efficiently using belief propagation. We formulate a probability distribution whose partition function is exactly the permanent, then use Bethe free energy to approximate this partition function. After deriving some speedups to standard belief propagation, the resulting algorithm requires $(n^2)$ time per iteration. Finally, we demonstrate the advantages of using this approximation.

研究动机与目标

• 开发一种快速、可扩展的非负矩阵永久值（#P完全问题）近似方法。
• 利用图模型与信念传播，通过配分函数公式化近似永久值。
• 评估该方法在排列不变性至关重要的核学习任务中的性能。
• 研究基于BP的永久值近似方法的理论与实证特性，特别是其收敛性与鲁棒性。

提出的方法

• 构建一个关于匹配的概率分布，使其配分函数恰好等于矩阵永久值。
• 使用Bethe自由能近似来最小化一个变分目标，以估计配分函数。
• 应用环状信念传播，迭代更新双分图中表示分配的变量之间的消息。
• 推导出对标准BP的加速方法，将每轮迭代的时间复杂度降低至$O(n^2)$。
• 基于数据点之间子核矩阵的近似永久值构建核函数。
• 在SVM分类任务中使用所得的近似永久值核，测试其对特征重排的鲁棒性。

实验结果

研究问题

• RQ1 信念传播能否有效应用于非负矩阵永久值的近似？
• RQ2 与精确方法（如Ryser算法）和MCMC采样相比，基于BP的近似在速度和精度方面表现如何？
• RQ3 近似永久值能否生成适用于机器学习任务的有效正定核？
• RQ4 在特征排列或数据重排下，基于BP的永久值近似方法有多鲁棒？

主要发现

• 基于BP的方法每轮迭代时间复杂度为$O(n^2)$，在小到中等规模$n$下显著快于MCMC采样和Ryser算法。
• 在数据重排情况下，近似永久值核始终优于标准RBF核，展现出对排列的鲁棒性。
• 尽管近似过程具有迭代性，近似永久值核仍生成了有效的正定矩阵。
• 在pendigits数据集上，当$ au=0.2$时，永久值核的平均误差为0.1463，优于基线RBF核在排列不变性条件下的表现。
• 该方法比基于采样的方法更稳定，后者可能在真实值的上下波动。