[论文解读] Generalized Collective Inference with Symmetric Clique Potentials

Rahul Gupta, Sunita Sarawagi+1 more|ArXiv.org|Jul 3, 2009

Advanced Graph Neural Networks参考文献 23被引用 3

一句话总结

本文提出了一种广义的集体推理框架，利用对称团势函数在多个实例之间强制执行复杂且可分解属性的一致性，从而实现更准确的联合标注。该框架引入了属性感知的消息传递机制，并针对各种对称势函数设计了精确/近似算法——在Potts和多数性势函数等场景下，相比SOTA方法如TRW-S和图割算法，实现了更快、更准确的推理。

ABSTRACT

Collective graphical models exploit inter-instance associative dependence to output more accurate labelings. However existing models support very limited kind of associativity which restricts accuracy gains. This paper makes two major contributions. First, we propose a general collective inference framework that biases data instances to agree on a set of {\em properties} of their labelings. Agreement is encouraged through symmetric clique potentials. We show that rich properties leads to bigger gains, and present a systematic inference procedure for a large class of such properties. The procedure performs message passing on the cluster graph, where property-aware messages are computed with cluster specific algorithms. This provides an inference-only solution for domain adaptation. Our experiments on bibliographic information extraction illustrate significant test error reduction over unseen domains. Our second major contribution consists of algorithms for computing outgoing messages from clique clusters with symmetric clique potentials. Our algorithms are exact for arbitrary symmetric potentials on binary labels and for max-like and majority-like potentials on multiple labels. For majority potentials, we also provide an efficient Lagrangian Relaxation based algorithm that compares favorably with the exact algorithm. We present a 13/15-approximation algorithm for the NP-hard Potts potential, with runtime sub-quadratic in the clique size. In contrast, the best known previous guarantee for graphs with Potts potentials is only 1/2. We empirically show that our method for Potts potentials is an order of magnitude faster than the best alternatives, and our Lagrangian Relaxation based algorithm for majority potentials beats the best applicable heuristic -- ICM.

研究动机与目标

• 解决现有集体模型仅支持简单关联依赖（如重复词的相同标注）的局限性。
• 通过引入一种鼓励标注在复杂、可分解属性上达成一致的框架，实现更丰富的实例间一致性。
• 为对称团势函数开发高效的推理算法，包括针对不同势函数类型的精确与近似方法。
• 在领域自适应任务中，特别是在未见领域的书目信息抽取任务中，验证该框架的有效性。
• 提供一种可扩展的消息传递推理过程，利用属性感知的聚类更新机制，实现可处理的计算效率。

提出的方法

• 提出一种广义的集体推理框架，利用对称团势函数在多个马尔可夫随机场（MRFs）之间强制执行可分解属性的一致性。
• 基于属性值定义一个带有分离变量的聚类图，通过消息传递实现联合MAP推理。
• 设计属性感知的消息传递：在MRF聚类内部修改消息，以反映特定属性的约束，并使用聚类特定的算法。
• 为二值和多标签设置下的基于基数的、最大值类的以及多数性类的势函数，开发精确的组合算法。
• 提出一种基于拉格朗日松弛的算法用于多数性势函数，该算法在效率和精度上均优于现有启发式方法（如ICM）。
• 为Potts势函数提出α-pass算法，其近似保证紧致（13/15），且团大小的运行时间为次二次方。

实验结果

研究问题

• RQ1 能否设计一种广义的集体推理框架，以支持超越简单标签重复的复杂、非平凡关联属性？
• RQ2 如何为对称团势函数（尤其是多数性或Potts势函数等非平凡属性）实现高效且精确的推理？
• RQ3 属性感知的消息传递在结构化预测任务中，能否在准确性和速度上优于标准信念传播？
• RQ4 所提出的框架在领域自适应场景中，能在多大程度上提升泛化能力？
• RQ5 针对复杂势函数（如Potts）的近似算法，能否在准确率、运行时间和近似保证之间实现优于现有方法的权衡？

主要发现

• 在领域自适应任务中，该框架显著降低了测试误差，使用多数性势函数时在Address数据集上达到82.2%的token-F1，Cora数据集上达到89.6%。
• 对于Potts势函数，α-pass算法实现了13/15的近似保证，且运行时间在团大小上为次二次方，其在速度和准确率上均优于TRW-S和图割方法。
• 基于拉格朗日松弛的多数性势函数算法比精确推理快两个数量级，并在多种场景下优于ICM启发式方法。
• 集体推理（CI）仅需一次迭代即可达到最优准确率，而TRW-S约需20次迭代——这意味着CI在每单位准确率上的速度约为其一个数量级。
• 该框架表明，通过使用对称势函数实现属性一致性，可作为一种有效的仅推理解决方案用于领域自适应，而无需重新训练模型。
• 实证比较显示，使用多数性势函数的集体推理始终优于基于Potts的方法和堆叠基线模型，尤其在未见领域上表现更优。