[论文解读] GM-PLL: Graph Matching based Partial Label Learning

Gengyu Lyu, Songhe Feng+3 more|arXiv (Cornell University)|Jan 10, 2019

Text and Document Classification Technologies参考文献 37被引用 4

一句话总结

本文提出GM-PLL，一种基于图匹配的新型部分标签学习框架，将任务重新表述为实例到标签的匹配选择问题。通过将概率图匹配扩展至多对一约束，并引入一种松弛的预测模型，GM-PLL有效消除了候选标签的歧义，在合成数据集和真实世界数据集上均实现了最先进或具有竞争力的性能。

ABSTRACT

Partial Label Learning (PLL) aims to learn from the data where each training example is associated with a set of candidate labels, among which only one is correct. The key to deal with such problem is to disambiguate the candidate label sets and obtain the correct assignments between instances and their candidate labels. In this paper, we interpret such assignments as instance-to-label matchings, and reformulate the task of PLL as a matching selection problem. To model such problem, we propose a novel Graph Matching based Partial Label Learning (GM-PLL) framework, where Graph Matching (GM) scheme is incorporated owing to its excellent capability of exploiting the instance and label relationship. Meanwhile, since conventional one-to-one GM algorithm does not satisfy the constraint of PLL problem that multiple instances may correspond to the same label, we extend a traditional one-to-one probabilistic matching algorithm to the many-to-one constraint, and make the proposed framework accommodate to the PLL problem. Moreover, we also propose a relaxed matching prediction model, which can improve the prediction accuracy via GM strategy. Extensive experiments on both artificial and real-world data sets demonstrate that the proposed method can achieve superior or comparable performance against the state-of-the-art methods.

研究动机与目标

• 解决训练数据中每个实例关联一组候选标签（仅其中一个正确）所带来的学习挑战。
• 克服现有部分标签学习（PLL）方法的局限性，这些方法或忽略实例间的全局关系，或未能显式建模实例-标签分配的共现模式。
• 将PLL重新表述为结构化匹配选择问题，联合建模实例间关系与最优实例-标签分配。
• 开发一种能够适应PLL中固有多对一约束的图匹配框架，即多个实例可映射到同一标签。
• 通过引入一种松弛的图匹配预测模型，提升鲁棒性与泛化能力，从而提高预测准确性。

提出的方法

• 将部分标签学习重新构型为实例到标签的匹配选择问题，将正确的标签分配视为需识别的匹配关系。
• 通过将传统的一对一概率图匹配方案扩展为支持多个实例映射到单一标签，提出一种多对一约束的图匹配算法。
• 将实例级相似性与标签共现模式整合到统一图结构中，以建模数据间的关联关系。
• 引入一种松弛的图匹配预测模型，允许标签分配中存在不确定性，从而提升对噪声候选标签的鲁棒性。
• 利用阈值参数β控制匹配过程中保留有用信息与过滤噪声之间的权衡。
• 通过基于总标签数与平均标签数的公式确定未见实例的候选标签数量r，并通过交叉验证进行验证。

实验结果

研究问题

• RQ1 能否通过将实例到标签的分配建模为匹配关系，有效将图匹配适配于部分标签学习问题？
• RQ2 如何在概率图匹配框架中正式整合PLL的多对一约束？
• RQ3 同时引入实例间关系与标签共现模式是否能提升部分标签学习中的消歧能力与预测准确性？
• RQ4 与标准匹配方法相比，松弛的图匹配预测模型是否能增强鲁棒性与性能？
• RQ5 超参数β与r在不同数据集上的取值如何影响模型的泛化能力与性能表现？

主要发现

• GM-PLL在人工数据集与真实世界数据集上均实现了优于或具有竞争力的性能，相较最先进PLL方法表现优异。
• 通过交叉验证确定了噪声过滤的最优阈值β，其取值范围在0.3至0.8之间，表明对不同数据集具有敏感性。
• 未见实例的候选标签数r经实证验证呈现可预测趋势，通过公式(10)计算得到的r*在大多数数据集中与实证最优的r**高度吻合。
• 在大多数UCI数据集上，GM-PLL的总运行时间低于30秒；在所有真实世界数据集上，总运行时间均未超过1.5小时，表明计算效率可接受。
• GM-PLL的测试时间极短，最长推理时间仅为SoccerPlayer数据集上的422秒，表明其在推理阶段具备良好的可扩展性。
• 在所有真实世界数据集上，GM-PLL的总运行时间仅为PL-LEAF的1/10，显示出相较于部分早期方法的显著效率提升。