[论文解读] Hinge-Loss Markov Random Fields and Probabilistic Soft Logic

Stephen H. Bach, Matthias Broecheler+2 more|arXiv (Cornell University)|May 17, 2015

Bayesian Modeling and Causal Inference参考文献 103被引用 129

一句话总结

本文提出了铰链损失马尔可夫随机场（HL-MRFs）和概率软逻辑（PSL），一种用于结构化数据的可扩展概率编程语言。通过统一随机算法的凸推理、局部一致性松弛和模糊逻辑，HL-MRFs 利用铰链损失势函数，实现基于 ADMM 消息传递的高效、可扩展 MAP 推断，在保持与离散模型相当的准确性的同时，可扩展至大规模关系型数据集。

ABSTRACT

A fundamental challenge in developing high-impact machine learning technologies is balancing the need to model rich, structured domains with the ability to scale to big data. Many important problem areas are both richly structured and large scale, from social and biological networks, to knowledge graphs and the Web, to images, video, and natural language. In this paper, we introduce two new formalisms for modeling structured data, and show that they can both capture rich structure and scale to big data. The first, hinge-loss Markov random fields (HL-MRFs), is a new kind of probabilistic graphical model that generalizes different approaches to convex inference. We unite three approaches from the randomized algorithms, probabilistic graphical models, and fuzzy logic communities, showing that all three lead to the same inference objective. We then define HL-MRFs by generalizing this unified objective. The second new formalism, probabilistic soft logic (PSL), is a probabilistic programming language that makes HL-MRFs easy to define using a syntax based on first-order logic. We introduce an algorithm for inferring most-probable variable assignments (MAP inference) that is much more scalable than general-purpose convex optimization methods, because it uses message passing to take advantage of sparse dependency structures. We then show how to learn the parameters of HL-MRFs. The learned HL-MRFs are as accurate as analogous discrete models, but much more scalable. Together, these algorithms enable HL-MRFs and PSL to model rich, structured data at scales not previously possible.

研究动机与目标

• 为解决在建模知识图谱、社交网络和自然语言等丰富结构化、大规模数据时的可扩展性-表达能力权衡问题。
• 将三种截然不同的方法——随机化 MAX SAT 算法、MRF 中的局部一致性松弛和模糊逻辑——统一到一个共同的凸推理框架中。
• 开发一种新的概率图模型 HL-MRF，通过使用连续的 [0,1] 变量和铰链损失特征，对离散 MRF 进行推广。
• 设计 PSL，一种基于一阶逻辑的高级概率编程语言，用于简便地指定 HL-MRF。
• 通过一致性优化和 ADMM 实现 HL-MRF 中的可扩展 MAP 推断和参数学习，利用图模型中的稀疏依赖结构。

提出的方法

• HL-MRF 被定义为无向图模型，其概率密度与连续 [0,1] 变量上的铰链损失函数加权和成正比。
• 推理目标通过统一 MAX SAT 松弛（Goemans-Williamson）、局部一致性松弛（Wainwright-Jordan）和模糊逻辑推理推导得出，三者均导向同一凸优化问题。
• 通过交替方向乘子法（ADMM）进行一致性优化实现 MAP 推断，将问题分解为可解析求解的子问题，适用于铰链损失势函数。
• 该方法利用图模型中的稀疏依赖结构，在性能上优于通用凸优化和基于采样的推理方法。
• PSL 提供了一种高级语法，用于使用一阶逻辑规则定义 HL-MRF，支持域/范围约束、阻塞函数和聚合变量。
• 通过一个框架实现参数学习，该框架使用相同的可扩展推理管道优化铰链损失特征。

实验结果

研究问题

• RQ1 能否从随机算法、局部一致性松弛和模糊逻辑中推导出统一的凸推理框架，用于结构化预测？
• RQ2 能否利用铰链损失势函数定义一类新的概率图模型，以在表达能力和可扩展性之间取得平衡？
• RQ3 通过 ADMM 的消息传递推理能否在大规模关系模型上显著优于通用凸优化？
• RQ4 所得到的 HL-MRF 模型在准确性上是否与离散 MRF 相当，同时适用于连续和大规模数据？
• RQ5 像 PSL 这样的高级编程语言能否使 HL-MRF 在真实世界结构化数据应用中更易用且实用？

主要发现

• HL-MRF 通过使用连续 [0,1] 变量和铰链损失特征，对离散 MRF 进行了推广，实现了无需限制连通性的凸推理。
• 从随机算法、局部一致性与模糊逻辑推导出的统一推理目标导向同一凸规划问题，为 HL-MRF 奠定了理论基础。
• HL-MRF 中的 MAP 推理由 ADMM 求解，子问题具有解析解，使可扩展性超越通用凸求解器。
• 实验表明，学习得到的 HL-MRF 在关系型数据上达到与相应离散模型相当的准确性。
• PSL 通过一阶逻辑语法支持 HL-MRF 的简便指定，相关开源工具可用于部署。
• 证明了对析取子句势函数的局部一致性松弛值等价于 Goemans-Williamson 的 MAX SAT 松弛，建立了理论等价性。