[论文解读] Semi-Supervised Collective Classification via Hybrid Label Regularization

Luke K. McDowell, David W. Aha|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Data Classification参考文献 6被引用 30

一句话总结

本文提出了一种半监督集体分类方法，通过混合标签正则化结合关系特征与非关系特征，提升稀疏标注数据图的分类准确率。通过将标签正则化与多种分类器结合，该方法高效利用未标注数据，在三个真实世界数据集上显著提升准确率，同时解决了先前研究中的不一致性问题。

ABSTRACT

Many classification problems involve data instances that are interlinked with each other, such as webpages connected by hyperlinks. Techniques for "collective classification" (CC) often increase accuracy for such data graphs, but usually require a fully-labeled training graph. In contrast, we examine how to improve the semi-supervised learning of CC models when given only a sparsely-labeled graph, a common situation. We first describe how to use novel combinations of classifiers to exploit the different characteristics of the relational features vs. the non-relational features. We also extend the ideas of "label regularization" to such hybrid classifiers, enabling them to leverage the unlabeled data to bias the learning process. We find that these techniques, which are efficient and easy to implement, significantly increase accuracy on three real datasets. In addition, our results explain conflicting findings from prior related studies.

研究动机与目标

• 为解决集体分类中标签数据稀缺的问题，实现在稀疏标注数据图上的有效半监督学习。
• 将关系特征与非关系特征整合到统一的分类框架中，以增强模型泛化能力。
• 将标签正则化技术扩展至混合分类器，使未标注数据能够引导学习过程，而无需完全监督。
• 通过提供更稳健且一致的学习框架，解决先前集体分类研究中存在矛盾的发现。
• 开发一种高效、易于实现的方法，可扩展至具有相互关联实例的真实世界数据集。

提出的方法

• 该方法将多个分类器（分别针对关系特征或非关系特征）整合为混合模型，以利用其互补优势。
• 提出一种新颖的混合标签正则化方案，利用关系特征与非关系特征在图中传播标签信息。
• 通过迭代方式应用标签正则化，传播并优化未标注节点的预测，利用图结构进行信息传播。
• 采用分类器输出的加权组合，其中权重通过在标注数据上优化性能而学习得到。
• 将集体分类任务建模为优化问题，平衡拟合标注数据与在图上平滑预测之间的权衡。
• 该方法设计为计算高效，并可轻松扩展至各种类型的关系数据。

实验结果

研究问题

• RQ1 当关系图中仅有一小部分节点被标注时，如何有效训练集体分类模型？
• RQ2 在混合分类框架中结合关系特征与非关系特征对模型准确率有何影响？
• RQ3 标签正则化技术能否成功扩展至混合分类器，以提升未标注数据的泛化能力？
• RQ4 为何先前研究在集体分类中报告了相互矛盾的结果？该框架能否解决此类不一致性？
• RQ5 所提出的方法在具有不同标签稀疏度的多样化真实世界数据集上，其可扩展性与性能表现如何？

主要发现

• 所提出的混合标签正则化方法在三个真实世界数据集上相比基线集体分类方法，显著提升了分类准确率。
• 当仅少量节点被标注时，该方法性能优于完全监督基线模型，展现出强大的半监督学习能力。
• 同时整合关系特征与非关系特征可带来比单独使用任一类型更稳健、更准确的预测结果。
• 该方法通过在不同数据分布与标签稀疏度水平下均表现出一致的性能提升，解决了先前研究中的矛盾发现。
• 该方法计算高效且可扩展，适用于大规模、相互关联的数据图的真实世界应用。
• 标签正则化有效实现了图中信息的传播，降低了预测方差，提升了未标注实例的泛化能力。