[论文解读] Metric-Optimized Example Weights

Sen Zhao, Mahdi Milani Fard+2 more|arXiv (Cornell University)|May 27, 2018

Machine Learning and Data Classification被引用 6

一句话总结

本文提出度量优化示例权重（MOEW），一种在训练过程中学习示例权重以直接在验证集上优化复杂、非理想测试度量的方法。通过自适应调整损失函数，MOEW 在非独立同分布（non-IID）数据上提升了模型性能，并可优化任意度量，包括黑箱和特定应用的度量，在真实世界和基准任务中显著优于均匀权重和领域自适应权重。

ABSTRACT

Real-world machine learning applications often have complex test metrics, and may have training and test data that are not identically distributed. Motivated by known connections between complex test metrics and cost-weighted learning, we propose addressing these issues by using a weighted loss function with a standard loss, where the weights on the training examples are learned to optimize the test metric on a validation set. These metric-optimized example weights can be learned for any test metric, including black box and customized ones for specific applications. We illustrate the performance of the proposed method on diverse public benchmark datasets and real-world applications. We also provide a generalization bound for the method.

研究动机与目标

• 解决机器学习应用中训练目标与真实世界测试度量之间的差距。
• 在训练数据与测试数据非独立同分布（non-IID）时提升模型性能。
• 通过学习的示例加权机制，实现对任意度量（包括黑箱或复杂度量）的优化。
• 通过自适应加权直接优化目标度量，减少对特定度量代理损失的依赖。
• 通过在低维嵌入空间中建模权重，降低对验证数据量的需求。

提出的方法

• 该方法使用与测试分布一致的验证集，学习训练样本上的加权函数。
• 通过可微或基于梯度的优化过程，优化示例权重以最大化验证集上的测试度量。
• 加权函数定义在输入特征和标签的低维嵌入空间上，该空间通过自编码器或类似方法获得。
• 最终模型使用加权损失函数进行训练，其中每个样本的贡献按其学习到的权重进行缩放。
• 该方法可泛化至任意测试度量，包括 AUC、F-measure、召回率下的精确率，以及自定义业务目标。
• 只要验证数据能代表测试分布，该方法对训练与测试数据分布偏移具有鲁棒性。

实验结果

研究问题

• RQ1 能否有效学习示例权重，以优化任意复杂测试度量，包括黑箱和特定应用的度量？
• RQ2 在非独立同分布数据设置下，MOEW 相较于均匀权重和最优领域自适应（如 Shimodaira）表现如何？
• RQ3 MOEW 是否能在具有复杂多目标度量的真实世界应用中实现显著性能提升？
• RQ4 在低维嵌入空间中学习权重是否能减少对验证数据量的需求而不损失性能？
• RQ5 MOEW 是否可用于指导主动学习或数据采样，通过识别特征空间中的高权重区域？

主要发现

• 在垃圾邮件检测任务中，MOEW 达到测试度量得分 1.849 ± 0.133（归一化为均匀权重 = 1.0），显著优于均匀权重（1.000 ± 0.040）和 Shimodaira 的领域自适应方法（1.210 ± 0.063）。
• 在第二个由大型结果提供商支持的垃圾邮件检测研究中，MOEW 达到 8.057 ± 0.923，而 Shimodaira 方法为 1.010 ± 0.137，均匀权重为 1.000 ± 0.124。
• 在网页质量分类任务中，MOEW 将正样本分类页面的平均细粒度质量得分从均匀权重下的 0.7113 ± 0.0004 提升至 0.7176 ± 0.0004。
• 即使在领域自适应权重退化为均匀权重时，MOEW 仍表现出优越性，证明其在非独立同分布设置下的优势。
• 该方法可泛化至黑箱度量和复杂目标，例如成本感知的垃圾邮件拦截，其表现优于标准基线。
• 作者提供了该方法的泛化界，支持其理论合理性。