[论文解读] Derivative Manipulation For Adjusting Emphasis Density Function: A General Example Weighting Framework

Xinshao Wang, Elyor Kodirov+2 more|arXiv (Cornell University)|May 27, 2019

Machine Learning and Data Classification参考文献 34被引用 2

一句话总结

本文提出了一种名为导数操控（Derivative Manipulation, DM）的一般性样本加权框架，通过直接修改导数大小来隐式实现样本加权，从而重新定义损失函数以控制强调密度。该方法在视觉与语言任务中均能实现对噪声数据和类别不平衡数据的稳健训练，优于标准损失函数及现有加权方法。

ABSTRACT

Real-world large-scale datasets usually contain noisy labels and are imbalanced. Therefore, we propose derivative manipulation (DM), a novel and general example weighting approach for training robust deep models under these adverse conditions. DM has two main merits. First, loss function and example weighting are common techniques in the literature. DM reveals their connection (a loss function does example weighting) and is a replacement of both. Second, despite that a loss defines an example weighting scheme by its derivative, in the loss design, we need to consider whether it is differentiable. Instead, DM is more flexible by directly modifying the derivative so that a loss can be a non-elementary format too. Technically, DM defines an emphasis density function by a derivative magnitude function. DM is generic in that diverse weighting schemes can be derived. Extensive experiments on both vision and language tasks prove DM's effectiveness.

研究动机与目标

• 解决深度学习中真实世界数据集存在的噪声与类别不平衡问题。
• 通过揭示其内在联系，统一并推广现有的样本加权与损失函数设计方法。
• 开发一种灵活的框架，通过直接操控导数绕过损失设计中对可微性的要求。
• 通过从导数大小导出的统一强调密度函数，实现多样化且高效的样本加权方案。

提出的方法

• DM 使用导数大小函数定义强调密度函数，用以确定每个样本对模型更新的影响程度。
• 它将损失函数视为通过梯度实现隐式样本加权，使导数成为核心控制机制。
• 无需要求损失函数为初等函数或可微，DM 直接修改导数以塑造加权行为。
• 通过聚焦于导数操控而非损失构建，该框架允许使用非初等损失形式。
• 通过调整导数大小函数，DM 可推广多种加权方案，以突出或抑制特定样本。
• 该方法在训练中端到端应用，实现在标签噪声与类别不平衡下的鲁棒优化。

实验结果

研究问题

• RQ1 如何将损失函数与样本加权统一为一个单一、连贯的框架？
• RQ2 能否设计一种灵活的样本加权机制，使其无需损失函数可微或为初等函数？
• RQ3 与标准损失相比，导数操控在噪声数据与类别不平衡数据上的模型鲁棒性如何提升？
• RQ4 从导数操控中可导出哪些类型的强调密度函数？它们在不同任务中的泛化能力如何？

主要发现

• DM 通过表明每个损失函数都通过其梯度隐式执行样本加权，有效统一了损失函数与样本加权。
• 该框架通过聚焦于导数操控而非可微性，使非初等损失函数得以使用。
• 在视觉与语言任务上的大量实验表明，DM 在标签噪声与类别不平衡条件下始终能提升模型鲁棒性。
• DM 在性能上达到或超越现有样本加权与损失设计方法的最先进水平。
• 从导数大小导出的强调密度函数可实现对训练动态与样本重要性的精细控制。
• 该方法具有通用性与可扩展性，支持多样化的加权方案，且无需重新训练或修改网络结构。