[论文解读] Minimizing the Maximal Loss: How and Why?

Shai Shalev‐Shwartz, Yonatan Wexler|arXiv (Cornell University)|Feb 4, 2016

Machine Learning and Algorithms参考文献 20被引用 41

一句话总结

本文提出了一种元算法 FOL（Follow the Optimal Loss），可将任意在线学习算法转化为最小化训练数据上最大损失的算法。通过将问题建模为零和博弈，并对损失权重进行迭代更新，FOL 在收敛速度和泛化性能方面优于标准 SGD，尤其在罕见或困难样本上表现更优，实证结果表明其训练误差接近零，测试性能也得到提升。

ABSTRACT

A commonly used learning rule is to approximately minimize the \emph{average} loss over the training set. Other learning algorithms, such as AdaBoost and hard-SVM, aim at minimizing the \emph{maximal} loss over the training set. The average loss is more popular, particularly in deep learning, due to three main reasons. First, it can be conveniently minimized using online algorithms, that process few examples at each iteration. Second, it is often argued that there is no sense to minimize the loss on the training set too much, as it will not be reflected in the generalization loss. Last, the maximal loss is not robust to outliers. In this paper we describe and analyze an algorithm that can convert any online algorithm to a minimizer of the maximal loss. We prove that in some situations better accuracy on the training set is crucial to obtain good performance on unseen examples. Last, we propose robust versions of the approach that can handle outliers.

研究动机与目标

• 为解决深度学习中最小化平均损失的局限性，特别是针对困难样本收敛缓慢的问题。
• 证明最小化最大损失可带来更好的泛化性能，尤其是在罕见或难以分类的样本显著影响性能时。
• 设计一种鲁棒且高效的算法，专注于最困难的训练样本，同时对异常值不敏感。
• 表明在所有训练样本（包括罕见样本）上实现高准确率，对于未见数据的良好性能至关重要。

提出的方法

• FOL 将最小化最大损失建模为在样本权重向量 p 和模型参数 w 之间的零和博弈。
• 它对 w 使用在线梯度下降，对 p 使用乘法权重更新，以迭代方式最小化最大损失。
• 该算法维护一个训练样本上的分布 p，使更新聚焦于损失较高的样本。
• 在每次迭代中，模型根据按 p 采样的小批量数据使用 SGD 进行更新，同时 p 被更新以突出显示分类错误或损失较高的样本。
• 通过引入平滑损失函数并使用对数障碍函数，增强了方法的鲁棒性，以避免极端权重。
• 理论分析表明，即使数据中包含异常值，FOL 也能收敛到最大损失较低的解。

实验结果

研究问题

• RQ1 我们能否在标准 SGD 在困难样本上收敛缓慢的在线学习设置中，高效地最小化最大损失？
• RQ2 最小化最大损失是否能带来优于最小化平均损失的泛化性能，尤其是在罕见或难以分类的样本上？
• RQ3 我们能否设计一种元算法，将任意在线学习器转换为最大损失最小化器，同时不牺牲训练效率？
• RQ4 在实践中，最大损失最小化方法与 AdaBoost 及其他集成方法相比表现如何？
• RQ5 最大损失最小化的鲁棒变体能否在存在异常值的情况下保持强泛化性能？

主要发现

• FOL 在 27 个周期后达到零训练误差，而 SGD 需要超过 14,000 个周期才能达到 0.1313% 的误差，表明收敛速度显著更快。
• FOL 的测试误差为 0.14%，优于 SGD 在长时间训练后的 0.35% 测试误差，显示出更好的泛化能力。
• FOL 的收敛性源于对信息量高的样本进行聚焦——仅 984 个样本（共 246,000 个）属于困难样本，而 FOL 高效地针对了这些样本。
• FOL 的最终假设实现了零训练误差，而 AdaBoost 的 10 个弱学习器集成需要 20 个周期，且推理速度慢 10 倍。
• 理论分析表明，当罕见样本对泛化至关重要时，最小化最大损失可能比最小化平均损失更有效。
• FOL 的鲁棒变体在存在数据异常值的情况下仍能保持性能，表明通过平滑和正则化可使最大损失最小化具备抗干扰能力。