[论文解读] Learning Effective Loss Functions Efficiently

M. J. V. Streeter|arXiv (Cornell University)|Jun 28, 2019

Machine Learning and Data Classification参考文献 23被引用 5

一句话总结

该论文提出 LearnLoss，一种高效的 anytime 算法，通过利用验证误差的梯度信息，有效学习最优的线性损失函数，实现快速超参数调优和在线正则化器自适应。其速度达到 state-of-the-art 水平——比先前方法快数个数量级——同时保持渐近最优性，并在实践中提升泛化性能。

ABSTRACT

We consider the problem of learning a loss function which, when minimized over a training dataset, yields a model that approximately minimizes a validation error metric. Though learning an optimal loss function is NP-hard, we present an anytime algorithm that is asymptotically optimal in the worst case, and is provably efficient in an idealized "easy" case. Experimentally, we show that this algorithm can be used to tune loss function hyperparameters orders of magnitude faster than state-of-the-art alternatives. We also show that our algorithm can be used to learn novel and effective loss functions on-the-fly during training.

研究动机与目标

• 为解决选择损失函数以最小化非可微或与之关系松散的验证度量（而非仅训练损失）的挑战。
• 开发一种高效、anytime 的算法，即使在底层问题为 NP-hard 的情况下，也能学习有效损失函数并提供可证明的保证。
• 在训练过程中实现正则化器的在线学习，以防止过拟合，特别是在高维超参数空间的场景下。
• 在速度和有效性方面超越现有超参数调优方法，尤其在损失函数超参数较多的设置中。

提出的方法

• 将损失函数学习问题建模为双层优化：最小化通过最小化模型参数导出的特征线性组合所获得的模型验证误差。
• 将损失函数表示为特征向量 φ(θ) 的线性函数，其中 ℓλ(θ) = λ · φ(θ)，λ ∈ ℛᵏ 为可学习的超参数。
• 使用凸优化求解学习问题，结合验证误差的梯度信息 ∇ẽ(θ) 以加速收敛。
• 采用 anytime 算法，逐步改进损失函数估计，理论保证在最坏情况下渐近最优。
• 在两种设置中应用该方法：(1) 通过在小数据子集上训练模型实现离线超参数调优；(2) 使用热启动优化实现训练过程中的在线自适应。
• 利用可微代理（如 top-1 准确率）处理非可微度量，以支持基于梯度的损失函数优化。

实验结果

研究问题

• RQ1 能否设计一种高效、anytime 的算法，学习最小化验证误差度量的线性损失函数，即使该度量不可微？
• RQ2 如何有效利用验证误差的梯度信息，以加速最优损失函数超参数的搜索？
• RQ3 所提出的方法能否在训练过程中实时学习有效的正则化器，从而在无需预先调优超参数的情况下提升泛化性能？
• RQ4 与 state-of-the-art 超参数调优方法相比，该算法在速度和最终模型准确率方面的表现如何？
• RQ5 该方法在损失函数包含数百个超参数的情况下，特别是在在线训练场景中，其可扩展性如何？

主要发现

• LearnLoss 算法在超参数调优速度上比 state-of-the-art 方法快数个数量级，显著优于传统方法的搜索效率。
• 在 colorectal_histology 数据集上，LearnLoss 使 AdaGrad 能够持续改进验证集和测试集的对数损失，长达 1000 个周期，而标准 AdaGrad 在约 35 个周期后即出现过拟合。
• 所学习的正则化器随时间演变，后期施加更强的正则化，展示了自适应、数据驱动的正则化特性。
• 该方法在测试对数损失和概率校准方面优于最佳标准正则化组合（L1、L2、标签平滑、dropout），即使未提升 top-1 准确率。
• 该算法成功在训练过程中实时学习到新颖且有效的正则化器，防止过拟合并提升所有评估数据集的泛化性能。
• 理论分析证实，LearnLoss 在最坏情况下渐近最优，且在理想化的‘简单’情况下可证明高效，实际表现强劲。