[论文解读] MetaInfoNet: Learning Task-Guided Information for Sample Reweighting

Hongxin Wei, Lei Feng+2 more|arXiv (Cornell University)|Dec 9, 2020

Machine Learning and Data Classification参考文献 53被引用 4

一句话总结

MetaInfoNet 提出了一种元学习框架，通过信息瓶颈机制自动学习与任务相关的表征作为元加权网络的输入，以实现样本重加权，从而强调相关特征。在存在标签噪声和类别不平衡的基准数据集上，该方法优于当前最先进（SOTA）的方法，在40% Flip-1噪声下，准确率最高比LossNet高出8%。

ABSTRACT

Deep neural networks have been shown to easily overfit to biased training data with label noise or class imbalance. Meta-learning algorithms are commonly designed to alleviate this issue in the form of sample reweighting, by learning a meta weighting network that takes training losses as inputs to generate sample weights. In this paper, we advocate that choosing proper inputs for the meta weighting network is crucial for desired sample weights in a specific task, while training loss is not always the correct answer. In view of this, we propose a novel meta-learning algorithm, MetaInfoNet, which automatically learns effective representations as inputs for the meta weighting network by emphasizing task-related information with an information bottleneck strategy. Extensive experimental results on benchmark datasets with label noise or class imbalance validate that MetaInfoNet is superior to many state-of-the-art methods.

研究动机与目标

• 为解决现有元重加权方法仅依赖训练损失作为输入的局限性，该局限性在标签噪声或类别不平衡下可能导致较差的样本权重分配。
• 通过学习有效且任务特定的表征，而非直接使用原始损失或logits，以提高样本重加权的鲁棒性。
• 开发一种元学习框架，自动识别并强调训练样本中的任务相关信息，以实现更好的泛化能力。
• 超越现有元重加权基线方法，尤其在高标签噪声或复杂真实世界数据分布等具有挑战性的设置下表现更优。

提出的方法

• 提出 MetaInfoNet，一种元学习架构，通过信息瓶颈（IB）层从原始输入（logits 和 labels）中提取与任务相关的特征，再将其输入到元加权网络中。
• 在输入表征（logits 和 labels）上应用 IB 层，以过滤无关或噪声信息，仅保留对最终任务具有预测能力的特征。
• 元加权网络是一个多层感知机（MLP），将 IB 处理后的特征映射为样本权重，其训练由一个小的无偏验证集引导。
• 该框架端到端训练，IB 层与元网络联合优化，以生成平滑且有意义的样本权重，优先选择干净样本。
• 通过学习对虚假模式不变的表征，该方法对各种数据偏差（包括标签噪声和类别不平衡）具有鲁棒性。
• 该方法取代了 LossNet 中标准的训练损失使用方式，或 LogitNet 中原始 logits 的使用方式，转而采用学习到的、与任务相关的表征，从而提升了权重分配的质量。

实验结果

研究问题

• RQ1 与直接使用训练损失相比，将学习到的任务引导表征作为元加权网络的输入，是否能提升样本重加权性能？
• RQ2 信息瓶颈层是否有助于从 logits 和 labels 中过滤掉无关或噪声特征，从而提升样本权重质量？
• RQ3 在高标签噪声（如40% Flip-1）条件下，MetaInfoNet 相较于 LossNet 和 LogitNet 等现有元重加权方法表现如何？
• RQ4 MetaInfoNet 是否能在具有复杂未知偏差的真实世界数据集（如 Clothing1M 和 ANIMAL-10N）上实现良好泛化？
• RQ5 在严重数据偏差存在的情况下，该方法是否能在训练各轮次中保持性能稳定性？

主要发现

• 在 CIFAR-10 数据集上，40% Flip-1 标签噪声下，MetaInfoNet 达到 87.86% 的测试准确率（最佳），显著优于 LossNet（83.65%）和 LogitNet（82.05%），领先超过5个百分点。
• 在 CIFAR-100 数据集上，40% Flip-1 噪声下，MetaInfoNet 达到 52.92% 的测试准确率（最佳），优于次佳方法 L2RW（51.44%），领先 1.48 个百分点。
• 在真实世界 Clothing1M 数据集上，MetaInfoNet 达到 73.94% 的准确率，超过之前 SOTA 方法 MLNT（73.47%），领先 0.47 个百分点。
• 在 ANIMAL-10N 数据集上，MetaInfoNet 达到 85.13% 的准确率（最佳），较微调基线（Finetune）提升 1.8%，较次佳方法 LossNet（83.73%）提升 2%。
• MetaInfoNet 在所有训练轮次中均保持一致的性能表现，而 LossNet 和 LogitNet 等方法在高噪声条件下显著退化，展现出更优的鲁棒性。
• 消融实验确认信息瓶颈层至关重要——若无 IB 层，LogitNet 的性能反而劣于 LossNet，表明原始 logits 中包含过多冗余信息。