[论文解读] Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting

Jun Shu, Qi Xie+5 more|arXiv (Cornell University)|Feb 20, 2019

Machine Learning and Data Classification参考文献 71被引用 398

一句话总结

论文提出了 Meta-Weight-Net (MW-Net)，一种显式的、可训练的样本加权函数，通过元学习学习，用以在存在偏置的训练数据下实现鲁棒学习（如类别不平衡和噪声标签），无需手工设计加权方案。

ABSTRACT

Current deep neural networks (DNNs) can easily overfit to biased training data with corrupted labels or class imbalance. Sample re-weighting strategy is commonly used to alleviate this issue by designing a weighting function mapping from training loss to sample weight, and then iterating between weight recalculating and classifier updating. Current approaches, however, need manually pre-specify the weighting function as well as its additional hyper-parameters. It makes them fairly hard to be generally applied in practice due to the significant variation of proper weighting schemes relying on the investigated problem and training data. To address this issue, we propose a method capable of adaptively learning an explicit weighting function directly from data. The weighting function is an MLP with one hidden layer, constituting a universal approximator to almost any continuous functions, making the method able to fit a wide range of weighting functions including those assumed in conventional research. Guided by a small amount of unbiased meta-data, the parameters of the weighting function can be finely updated simultaneously with the learning process of the classifiers. Synthetic and real experiments substantiate the capability of our method for achieving proper weighting functions in class imbalance and noisy label cases, fully complying with the common settings in traditional methods, and more complicated scenarios beyond conventional cases. This naturally leads to its better accuracy than other state-of-the-art methods.

研究动机与目标

• 在偏置的训练数据下（噪声标签、类别不平衡）推动鲁棒学习。
• 通过直接从数据中学习加权函数，消除手动指定损失到权重的映射。
• 证明基于 MLP 的权重网络能够近似传统加权方案并适应复杂偏置。
• 提供一个元学习框架，使用一个小型无偏元数据集同时更新分类器和加权函数参数。

提出的方法

• 将样本加权建模为 V(L_i_train(w); Θ)，一个具有单隐藏层的 MLP，输出在 [0,1] 的权重。
• 在 MW-Net 给出的权重下，对加权损失使用 SGD 优化分类器参数 w。
• 通过在一个小型无偏元数据集上计算的元损失来更新 MW-Net 参数 Θ：Θ* = argmin_Θ L_meta(w*(Θ)).
• 在单一循环内使用双层/元学习程序，对 w 和 Θ 进行在线交替更新（算法 1）。
• 给出收敛性分析，表明在温和条件下，该算法收敛到元损失和训练损失的临界点。

实验结果

研究问题

• RQ1 通过 MW-Net 显式学得的加权函数，是否能够在不同偏置设置下（不平衡、噪声标签、真实数据）达到或超过人工设计的加权方案？
• RQ2 用一个小型无偏元数据集对 MW-Net 进行元学习，是否能有效引导加权以提升泛化性能？
• RQ3 MW-Net 方法是否对不同的分类器体系结构和数据偏置具有鲁棒性？
• RQ4 在实际中，提出的两层循环优化的收敛性质是什么？
• RQ5 在不同偏置情景下，学习到的加权函数有多可解释？

主要发现

• MW-Net 学得的加权函数与传统先验吻合（例如对困难/不平衡情况给予更大权重；对噪声标签样本给予更小权重）。
• 在长尾 CIFAR 设置中，MW-Net 提高了测试准确率，相较于基础模型和若干再加权基线，包括 focal loss、class-balanced 和 L2RW。
• 在均匀和翻转标签噪声下，MW-Net 在 CIFAR-10/100 的准确率优于多数竞争者，在更高的噪声率下尤为显著。
• 在 Clothing1M 数据集，MW-Net 在比较方法中达到最佳准确率，表明其在现实世界的噪声标签上的有效性。
• 学习到的权重分布显示，干净样本获得的权重高于有噪声的样本，且权重函数在训练过程中逐步演化并趋于稳定。