[论文解读] Multiple Kernel Learning from Noisy Labels by Stochastic Programming

Tianbao Yang, Mehrdad Mahdavi+3 more|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Data Classification参考文献 16被引用 23

一句话总结

该论文提出了一种在标签噪声下的多核学习随机规划框架，将问题公式化为极小极大优化，以稳健地处理误标数据。该方法实现了 $O(1/T)$ 的快速收敛速率，并在 UCI 数据集上相较于标准核学习方法在噪声数据上表现出更优性能。

ABSTRACT

We study the problem of multiple kernel learning from noisy labels. This is in contrast to most of the previous studies on multiple kernel learning that mainly focus on developing efficient algorithms and assume perfectly labeled training examples. Directly applying the existing multiple kernel learning algorithms to noisily labeled examples often leads to suboptimal performance due to the incorrect class assignments. We address this challenge by casting multiple kernel learning from noisy labels into a stochastic programming problem, and presenting a minimax formulation. We develop an efficient algorithm for solving the related convex-concave optimization problem with a fast convergence rate of $O(1/T)$ where $T$ is the number of iterations. Empirical studies on UCI data sets verify both the effectiveness of the proposed framework and the efficiency of the proposed optimization algorithm.

研究动机与目标

• 解决现有多核学习方法假设训练数据完全标注准确的局限性。
• 应对现实数据集中误标样本导致的性能下降问题。
• 开发一种在核学习过程中显式建模标签噪声的鲁棒学习框架。
• 在标签噪声条件下确保高效优化并具备理论收敛保证。

提出的方法

• 将从带噪声标签的多核学习建模为随机规划问题，以考虑类别分配中的不确定性。
• 引入一种极小极大优化框架，同时学习最优核权重并稳健处理标签噪声。
• 将标签噪声建模为可能类别分配的概率分布，使框架能够最小化最坏情况风险。
• 设计一种高效的一阶算法，用于求解所得的凸-凹优化问题。
• 实现 $O(1/T)$ 的收敛速率，其中 $T$ 为迭代次数，确保快速优化。
• 采用随机次梯度方法，使该方法可扩展至更大规模数据集，同时保持鲁棒性。

实验结果

研究问题

• RQ1 如何使多核学习对训练数据中的标签噪声具有鲁棒性？
• RQ2 极小极大公式能否有效建模核学习过程中标签噪声的不确定性？
• RQ3 何种优化算法可在存在标签噪声的情况下实现快速且稳定的收敛？
• RQ4 在现实世界标签噪声条件下，所提出的框架与标准多核学习方法相比表现如何？

主要发现

• 所提出的框架在人工引入标签噪声的 UCI 基准数据集上显著提升了泛化性能。
• 优化算法实现了 $O(1/T)$ 的收敛速率，证实了其在实际应用中的快速收敛性。
• 极小极大公式有效缓解了误标样本对核权重学习的负面影响。
• 实验结果表明，在标签存在噪声时，该框架在性能上持续优于标准多核学习方法。