[论文解读] Provably Consistent Partial-Label Learning

Lei Feng, Jiaqi Lv+6 more|arXiv (Cornell University)|Jul 17, 2020

Text and Document Classification Technologies参考文献 78被引用 53

一句话总结

本文提出了一个用于部分标签数据的生成模型和两种可证明一致性的 PLL 方法（风险一致性 RC 和分类器一致性 CC），可与深度网络一起工作，并给出估计误差界及经验证的实证结果。

ABSTRACT

Partial-label learning (PLL) is a multi-class classification problem, where each training example is associated with a set of candidate labels. Even though many practical PLL methods have been proposed in the last two decades, there lacks a theoretical understanding of the consistency of those methods-none of the PLL methods hitherto possesses a generation process of candidate label sets, and then it is still unclear why such a method works on a specific dataset and when it may fail given a different dataset. In this paper, we propose the first generation model of candidate label sets, and develop two novel PLL methods that are guaranteed to be provably consistent, i.e., one is risk-consistent and the other is classifier-consistent. Our methods are advantageous, since they are compatible with any deep network or stochastic optimizer. Furthermore, thanks to the generation model, we would be able to answer the two questions above by testing if the generation model matches given candidate label sets. Experiments on benchmark and real-world datasets validate the effectiveness of the proposed generation model and two PLL methods.

研究动机与目标

• 通过实际获得精确标签的困难和理论保证需求来激发 PLL 的研究动机。
• 提出一个部分标签数据的数据生成模型，确保正确标签在候选集之内。
• 开发两种具有形式化一致性保证的 PLL 方法（风险一致性与分类器一致性）。
• 提供风险估计边界并证明收敛到真实风险最小化解。
• 在基准数据集和真实世界的部分标签数据集上对方法进行经验验证。

提出的方法

• 为生成始终包含真实标签的候选标签集建立一个概率模型（等式 5）。
• 使用重要性重加权推导一个风险一致性 PLL 方法（等式 8–9），并用交叉熵损失实现（等式 9）。
• 使用转移矩阵 Q 和一个风险估计量推导一个分类器一致性 PLL 方法（等式 11–12）。
• 给出 RC（定理 4）和 CC（定理 6）的估计误差界。
• 在深度模型下显示 RC 相较于 CC 的性能优势，原因在于界更紧且具有置信度估计。
• 确保方法对模型与优化器无关，以便与现代网络兼容。

实验结果

研究问题

• RQ1 是否可以定义一个显式的部分标签数据生成过程，以保证 PLL 假设成立？
• RQ2 是否能够设计在该生成模型下具备风险一致性和分类器一致性的 PLL 方法？
• RQ3 所提出的方法的估计误差界与收敛性质是什么？
• RQ4 在基准数据集和真实世界的 PLL 数据集上，这些方法的经验表现如何，以及模型复杂度如何影响性能？

主要发现

数据集	RC（测试%）	CC（测试%）	GA（测试%）	NN（测试%）	Free（测试%）	PC（测试%）	Forward（测试%）	EXP（测试%）	LOG（测试%）	MAE（测试%）	MSE（测试%）	GCE（测试%）	Phuber-CE（测试%）
MNIST	98.00 ± 0.11	97.87 ± 0.10	96.37 ± 0.13	96.75 ± 0.08	88.48 ± 0.37	92.47 ± 0.13	97.64 ± 0.11	97.81 ± 0.04	97.86 ± 0.11	97.82 ± 0.11	96.95 ± 0.14	96.71 ± 0.08	95.10 ± 0.34
Kuzushiji-MNIST	89.38 ± 0.28	88.83 ± 0.40	84.23 ± 0.19	82.36 ± 0.41	70.31 ± 0.68	73.45 ± 0.20	87.64 ± 0.13	88.48 ± 0.29	88.24 ± 0.08	88.43 ± 0.32	85.16 ± 0.44	85.19 ± 0.39	80.66 ± 0.41
Fashion-MNIST	88.38 ± 0.16	87.88 ± 0.25	85.57 ± 0.16	86.25 ± 0.14	81.34 ± 0.47	83.37 ± 0.31	86.73 ± 0.15	87.96 ± 0.06	88.31 ± 0.26	87.83 ± 0.22	85.72 ± 0.26	86.88 ± 0.16	85.33 ± 0.23
CIFAR-10	77.93 ± 0.59	75.78 ± 0.27	72.22 ± 0.19	68.09 ± 0.31	17.74 ± 1.20	46.53 ± 2.01	71.18 ± 0.92	73.22 ± 0.66	75.38 ± 0.34	66.91 ± 3.08	66.15 ± 2.13	72.22 ± 0.19	58.60 ± 0.95

• 提出两种可证明一致性的 PLL 方法：风险一致性方法（RC）和分类器一致性方法（CC）。
• RC 相对于 CC 提供更紧的估计误差界，在深度网络实践中表现更好。
• 给出显式的部分标签数据生成模型，证明其满足 PLL 的核心假设，即正确标签位于候选集内（定理 1–2）。
• RC 使用重要性重加权，其中 p(y=i|x) 由 softmax 输出逼近，并对非候选标签置零（等式 10）。
• CC 使用转移矩阵 Q 将普通标签与候选标签相关联，产生无偏的分类器一致性估计量（定理 5–6）。
• 在 MNIST、Kuzushiji-MNIST、Fashion-MNIST、CIFAR-10 以及真实世界的 PLL 数据集上的实验，验证了在神经网络与线性模型上的有效性。