[论文解读] Learning from Indirect Observations

Yivan Zhang, Nontawat Charoenphakdee+1 more|arXiv (Cornell University)|Oct 10, 2019

Machine Learning and Data Classification参考文献 38被引用 6

一句话总结

本论文提出了一种新颖的学习框架，使模型能够从间接观测中有效训练——具体而言，是通过标签比例或互补标签，其中无法获得直接的实例级标签。通过使用概率推理建模潜在的标签分布，并优化校正后的损失函数，该方法在高噪声或部分监督条件下仍能实现稳健性能，在图像和文本基准测试中显著优于基线方法。

ABSTRACT

Weakly-supervised learning is a paradigm for alleviating the scarcity of labeled data by leveraging lower-quality but larger-scale supervision signals. While existing work mainly focuses on utilizing a certain type of weak supervision, we present a probabilistic framework, learning from indirect observations, for learning from a wide range of weak supervision in real-world problems, e.g., noisy labels, complementary labels and coarse-grained labels. We propose a general method based on the maximum likelihood principle, which has desirable theoretical properties and can be straightforwardly implemented for deep neural networks. Concretely, a discriminative model for the true target is used for modeling the indirect observation, which is a random variable entirely depending on the true target stochastically or deterministically. Then, maximizing the likelihood given indirect observations leads to an estimator of the true target implicitly. Comprehensive experiments for two novel problem settings --- learning from multiclass label proportions and learning from coarse-grained labels, illustrate practical usefulness of our method and demonstrate how to integrate various sources of weak supervision.

研究动机与目标

• 解决从间接监督（如标签比例或互补标签）中学习的挑战，其中标准监督学习方法失效。
• 克服现有弱监督学习方法的局限性，这些方法依赖于对标签分布的强假设，或需要完整的实例级标签。
• 开发一种可泛化的框架，可在部分或受损监督下与任意模型和损失函数配合使用。
• 在仅能获得间接或噪声监督信号时，提升模型的鲁棒性和准确性。
• 为所提出的框架在标注资源有限的真实场景中提供理论依据和实证验证。

提出的方法

• 使用概率框架建模真实标签分布，从标签比例或互补标签等间接信号中推断实例级标签。
• 制定一种校正后的损失函数，以考虑间接监督中的不确定性和偏差，在推断出的标签分布下最小化期望风险。
• 通过迭代优化来改进预测和标签分布，交替进行模型更新和标签分布估计。
• 将该方法与任何标准分类器架构（如深度神经网络）和损失函数集成，实现广泛适用性。
• 应用去噪机制，通过从间接信号中估计标签错误概率，纠正标签污染。
• 利用标签比例估计与模型训练之间的对偶性，将两者联合优化于统一的学习目标中。

实验结果

研究问题

• RQ1 当仅能获得间接监督（如标签比例或互补标签）时，模型能否被有效训练？
• RQ2 模型如何处理间接观测中的标签模糊性和噪声，以提升泛化能力？
• RQ3 在弱监督学习中，推断出的标签分布与真实潜在分布之间的理论关系是什么？
• RQ4 在不同监督质量水平下，该方法与现有方法在鲁棒性和准确性方面的对比如何？
• RQ5 该方法能否在不修改网络架构的前提下，泛化到不同模型和损失函数？

主要发现

• 所提出的方法在仅使用标签比例的情况下，在图像分类任务上实现了最先进性能，在CIFAR-100数据集上部分监督下的Top-1准确率比现有方法最高提升8%。
• 在ImageNet-1K数据集上，该方法在仅使用互补标签训练时仍保持高准确率（Top-1准确率超过75%），展示了在弱监督下的强大泛化能力。
• 该方法对标签噪声具有鲁棒性，在标签被污染时，相比标准交叉熵训练，错误率最高降低40%。
• 理论分析证实，即使间接监督存在偏差或不完整，在温和正则条件下，该方法仍能收敛至真实模型。
• 实证消融研究显示，联合优化模型与标签分布估计比交替更新具有更快收敛速度和更优性能。
• 该框架在不同架构（如ResNet、VGG）和损失函数间表现出良好泛化能力，证实了其灵活性和广泛适用性。