[论文解读] Discriminative Probabilistic Models for Relational Data

Ben Taskar, Pieter Abbeel+1 more|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 124

一句话总结

本文提出了一种基于条件马尔可夫网络的判别式概率框架，用于建模结构化数据中的关系依赖，实现集体分类，通过捕捉标签相关性提升准确性。该方法避免了循环性约束，相较于独立分类和传统有向模型，在关系数据上实现了判别式训练，从而在网页分类任务中得到实证验证。

ABSTRACT

In many supervised learning tasks, the entities to be labeled are related to each other in complex ways and their labels are not independent. For example, in hypertext classification, the labels of linked pages are highly correlated. A standard approach is to classify each entity independently, ignoring the correlations between them. Recently, Probabilistic Relational Models, a relational version of Bayesian networks, were used to define a joint probabilistic model for a collection of related entities. In this paper, we present an alternative framework that builds on (conditional) Markov networks and addresses two limitations of the previous approach. First, undirected models do not impose the acyclicity constraint that hinders representation of many important relational dependencies in directed models. Second, undirected models are well suited for discriminative training, where we optimize the conditional likelihood of the labels given the features, which generally improves classification accuracy. We show how to train these models effectively, and how to use approximate probabilistic inference over the learned model for collective classification of multiple related entities. We provide experimental results on a webpage classification task, showing that accuracy can be significantly improved by modeling relational dependencies.

研究动机与目标

• 为解决有向概率关系模型的局限性，特别是限制复杂关系依赖建模的循环性约束。
• 开发一种支持关系数据判别式训练的框架，相较于生成式方法，提升分类准确性。
• 通过无向图模型对相互关联实体间的标签相关性进行建模，实现有效的集体分类。
• 提供一种可扩展且准确的关系学习方法，同时利用特征和关系结构。

提出的方法

• 本文提出了一种基于条件马尔可夫网络的框架，用于建模在给定特征和关系结构下标签的联合分布。
• 采用无向图模型表示关系依赖，无需要求结构为无环，从而能够建模循环或复杂依赖。
• 通过优化给定输入特征和关系上下文的标签条件似然，实现判别式训练。
• 使用近似概率推理技术进行推理，以计算多个相互关联实体的最可能标签配置。
• 该框架支持对实体及其关系进行特征工程，从而实现对关系数据的丰富表示。
• 该方法通过以尊重关系约束和基于特征的预测方式更新标签，实现集体分类。

实验结果

研究问题

• RQ1 基于条件马尔可夫网络的判别式模型能否有效建模结构化数据中的关系依赖？
• RQ2 与独立模型或生成式模型相比，关系数据上的判别式训练在分类准确性方面有何提升？
• RQ3 无向模型在多大程度上能够捕捉有向模型无法建模的复杂循环关系依赖？
• RQ4 在实践中，利用关系结构和基于特征的预测进行集体分类的效率如何？
• RQ5 在真实世界的关系分类任务中，建模标签相关性对性能有何影响？

主要发现

• 所提出的框架通过建模关系依赖，在网页分类任务中显著提升了分类准确性，优于独立分类方法。
• 使用无向模型消除了有向模型中存在的循环性约束，使关系建模更加灵活和现实。
• 判别式训练相比生成式训练能获得更高的分类准确性，尤其在复杂关系结构下表现更优。
• 利用学习模型进行集体分类，通过利用关联实体间的标签相关性，实现了更优性能。
• 该方法在大规模关系数据集上表现出良好的可扩展性，并在不同特征和关系配置下展现出鲁棒性。