[论文解读] A Convex Relaxation for Weakly Supervised Classifiers

Armand Joulin, Francis Bach|arXiv (Cornell University)|Jun 27, 2012

Advanced Image and Video Retrieval Techniques参考文献 44被引用 30

一句话总结

本文提出了一种用于弱监督多分类分类的软最大损失函数的凸松弛方法，通过半定规划（SDP）实现全局优化，避免了基于EM方法常见的局部极小值问题。该方法在多个任务上实现了最先进性能，包括多实例学习、半监督学习和聚类，优于标准的弱监督基线方法。

ABSTRACT

This paper introduces a general multi-class approach to weakly supervised classification. Inferring the labels and learning the parameters of the model is usually done jointly through a block-coordinate descent algorithm such as expectation-maximization (EM), which may lead to local minima. To avoid this problem, we propose a cost function based on a convex relaxation of the soft-max loss. We then propose an algorithm specifically designed to efficiently solve the corresponding semidefinite program (SDP). Empirically, our method compares favorably to standard ones on different datasets for multiple instance learning and semi-supervised learning as well as on clustering tasks.

研究动机与目标

• 解决传统弱监督学习方法（如EM）中局部极小值的局限性。
• 在弱监督设置下，为联合标签推断与模型参数学习提供全局最优解。
• 将凸优化的应用范围扩展至弱监督下的多分类分类任务。
• 在多实例学习、半监督学习和聚类等挑战性任务上提升性能。
• 设计一种高效算法以求解所得的半定规划（SDP）。

提出的方法

• 提出软最大损失函数的凸松弛，以实现全局优化。
• 将弱监督分类问题重新表述为半定规划（SDP）。
• 引入一种专用算法，高效求解SDP，利用问题结构实现可扩展性。
• 在凸框架下采用块坐标下降法，联合推断标签并优化模型参数。
• 将该松弛方法应用于弱标签数据的多分类场景，包括正样本-未标记样本学习和多实例学习。
• 采用低秩近似策略，在保持精度的同时降低计算复杂度。

实验结果

研究问题

• RQ1 软最大损失的凸松弛是否能在弱监督多分类分类中实现全局最优解？
• RQ2 所提出的基于SDP的方法与基于EM的方法相比，在避免局部极小值方面表现如何？
• RQ3 该凸松弛框架能否有效应用于多实例学习和半监督学习任务？
• RQ4 与标准方法相比，求解所得SDP的计算效率如何？
• RQ5 该方法在弱监督聚类任务上是否实现更优性能？

主要发现

• 所提出的凸松弛方法在多实例学习基准上始终优于标准的基于EM的方法。
• 该方法在半监督学习任务上实现了最先进性能，表现出更强的泛化能力。
• 实证评估显示，在弱监督条件下聚类性能显著提升。
• 基于SDP的优化方法避免了局部极小值，从而实现更稳定可靠的模型训练。
• 专用算法可高效求解SDP，使该方法在大规模数据集上具备可扩展性。
• 该方法在多种弱监督学习场景（包括PU学习和多实例学习）中表现出强鲁棒性。