[论文解读] Data Distillation: Towards Omni-Supervised Learning

Ilija Radosavovic, Piotr Dollár+3 more|arXiv (Cornell University)|Dec 12, 2017

Multimodal Machine Learning Applications参考文献 40被引用 43

一句话总结

本文提出数据提炼（data distillation）方法，通过利用单一模型在多种数据增强变换下预测结果的集成，从大规模无标签互联网数据中生成合成标注。该方法在 COCO 关键点检测和目标检测任务上超越了完全监督基线模型，关键点检测任务中最高提升 2.0 AP，目标检测任务中 AP_M 提升 1.8 AP，证明了全监督学习（omni-supervised learning）的可行性。

ABSTRACT

We investigate omni-supervised learning, a special regime of semi-supervised learning in which the learner exploits all available labeled data plus internet-scale sources of unlabeled data. Omni-supervised learning is lower-bounded by performance on existing labeled datasets, offering the potential to surpass state-of-the-art fully supervised methods. To exploit the omni-supervised setting, we propose data distillation, a method that ensembles predictions from multiple transformations of unlabeled data, using a single model, to automatically generate new training annotations. We argue that visual recognition models have recently become accurate enough that it is now possible to apply classic ideas about self-training to challenging real-world data. Our experimental results show that in the cases of human keypoint detection and general object detection, state-of-the-art models trained with data distillation surpass the performance of using labeled data from the COCO dataset alone.

研究动机与目标

• 探索全监督学习，即结合所有可用的标注数据与海量无标签数据源的训练范式。
• 解决在真实世界大规模视觉识别任务中利用无标签数据的挑战，且无需修改模型或损失函数。
• 证明现代高精度模型能够可靠地生成有用的伪标签用于自训练。
• 评估数据提炼在 COCO 关键点检测和目标检测等挑战性基准上的有效性。
• 展示通过利用互联网规模的无标签数据，数据提炼可超越完全监督基线模型。

提出的方法

• 通过对单个输入应用多种数据增强变换（如翻转、缩放）生成无标签图像的预测结果。
• 将这些变换视图下的预测结果进行集成，生成更鲁棒且多样化的伪标签。
• 将集成预测结果作为合成训练标签，用于重新训练学生模型。
• 端到端应用该方法，不修改模型架构或损失函数，将伪标签视为真实标签处理。
• 使用每类别的置信度阈值，平衡目标检测中各类别实例数量。
• 通过在预测框并集上进行边界框投票，聚合不同变换下的检测结果。

实验结果

研究问题

• RQ1 数据提炼能否有效利用互联网规模的无标签数据，超越完全监督学习性能？
• RQ2 在多个数据变换下对单一模型的预测结果进行集成，是否能提供超越单次预测的有意义信号？
• RQ3 数据提炼能否在真实世界大规模基准（如 COCO 关键点检测和目标检测）上提升性能？
• RQ4 在使用相同标注数据加无标签数据的情况下，数据提炼与完全监督学习相比表现如何？
• RQ5 数据提炼是否可在不修改模型或损失函数的前提下有效应用？

主要发现

• 在 COCO 关键点检测任务上，数据提炼相较 Mask R-CNN 基线模型提升了 2.0 AP，性能超过使用相同数量人工标注数据的训练结果。
• 在目标检测任务中，当使用 co-115 作为标注数据、un-120 作为无标签数据时，数据提炼使 AP 提升 0.8–0.9 点，AP50 提升 0.9–1.1 点。
• 在 AP_M 指标上提升最大，从 43.7 提升至 45.5，增幅达 1.8 点（使用 ResNeXt-101-32×4 模型）。
• 该方法在所有测试的主干网络架构上均一致提升性能，包括 ResNet-50、ResNet-101 和 ResNeXt-101-32×4。
• 结果表明，数据提炼可超越完全监督基线模型，验证了全监督学习的潜力。
• 数据提炼的成功表明，现代模型已具备足够精度，可生成可靠的伪标签，从而减少对复杂数据清洗启发式规则的依赖。