[论文解读] Multi-Objective Optimization for Self-Adjusting Weighted Gradient in Machine Learning Tasks

Conrado Silva Miranda, Fernando J. Von Zuben|arXiv (Cornell University)|Jun 2, 2015

Advanced Multi-Objective Optimization Algorithms被引用 7

一句话总结

本文提出一种基于超体积指标的多目标优化框架，可在训练过程中自动调整损失权重，实现无需超参数调优的自适应加权梯度。在去噪自编码器上的实验表明，该方法显著降低了平均损失并提升了泛化性能，表明其损失曲面更加平滑。

ABSTRACT

Much of the focus in machine learning research is placed in creating new architectures and optimization methods, but the overall loss function is seldom questioned. This paper interprets machine learning from a multi-objective optimization perspective, showing the limitations of the default linear combination of loss functions over a data set and introducing the hypervolume indicator as an alternative. It is shown that the gradient of the hypervolume is defined by a self-adjusting weighted mean of the individual loss gradients, making it similar to the gradient of a weighted mean loss but without requiring the weights to be defined a priori. This enables an inner boosting-like behavior, where the current model is used to automatically place higher weights on samples with higher losses but without requiring the use of multiple models. Results on a denoising autoencoder show that the new formulation is able to achieve better mean loss than the direct optimization of the mean loss, providing evidence to the conjecture that self-adjusting the weights creates a smoother loss surface.

研究动机与目标

• 解决机器学习中线性组合损失函数的局限性，其可能与用户期望不符或无法优化泛化性能。
• 探索多目标优化作为损失函数设计的框架，特别是使用超体积指标作为性能度量。
• 开发一种基于梯度的方法，自动增强高损失样本的学习压力，类似于提升（boosting）但仅使用单个模型。
• 评估通过超体积最大化实现的自适应权重是否能带来比标准平均损失优化更好的泛化性能和更低的平均损失。

提出的方法

• 将超体积指标用作从多个独立损失函数导出的单目标性能度量。
• 推导超体积目标的梯度，其对应于个体损失梯度的自适应加权平均。
• 梯度中的权重由当前模型的性能动态决定，对损失更高的样本赋予更大权重。
• 对超体积目标应用标准的基于梯度的优化，使现有优化算法无需修改即可使用。
• 使用验证集根据无噪声性能选择最佳模型检查点，确保泛化性能的评估。
• 将每个数据样本视为独立目标，使方法能自动平衡样本间的权衡。

实验结果

研究问题

• RQ1 超体积指标能否作为机器学习中线性组合损失函数的更优替代方案？
• RQ2 超体积目标的梯度是否能产生一种自适应加权机制以提升模型性能？
• RQ3 即使优化的是不同度量，该方法能否实现优于标准平均损失最小化的泛化性能？
• RQ4 与基线平均损失优化相比，该方法在数据噪声水平增加时表现如何？
• RQ5 自适应权重机制是否能带来更平滑的损失曲面，从而减少局部极小值问题？

主要发现

• 在所有噪声水平（p = 0.1, 0.2, 0.3, 0.4）下，超体积方法在测试集上的平均损失显著更低（p值 < 0.001，配对t检验）。
• 当 p ≤ 0.3 时，超体积方法在训练集、验证集和测试集上均优于基线，收敛更快且性能更优。
• 在 p = 0.4 时，性能差距随时间推移进一步扩大，表明对更高噪声水平具有更强鲁棒性。
• 所有数据划分（训练、验证、测试）中的最大损失均被降低，差异分布的上界有显著改善。
• 泛化性能更优，体现在验证集选择过程中：基于超体积的模型实现了统计上显著更低的测试损失。
• 结果支持了自适应权重可平滑损失曲面的猜想，从而有助于收敛到更优的极小值。