[论文解读] ImageNet Large Scale Visual Recognition Challenge

Olga Russakovsky|arXiv (Cornell University)|Sep 1, 2014

Image Retrieval and Classification Techniques被引用 53

一句话总结

本文介绍了ImageNet大规模视觉识别挑战赛（ILSVRC），这是一个涵盖1,000个类别和超过一百万张图像的大规模基准数据集，用于物体分类与检测。文章详细描述了利用众包方式构建数据集的过程，阐述了大规模数据带来的关键算法进步，并将最先进模型的性能与人类水平准确率进行比较，突出了深度学习和物体识别领域的突破性进展。

ABSTRACT

The ImageNet Large Scale Visual Recognition Challenge is a benchmark in object category classification and detection on hundreds of object categories and millions of images. The challenge has been run annually from 2010 to present, attracting participation from more than fifty institutions. This paper describes the creation of this benchmark dataset and the advances in object recognition that have been possible as a result. We discuss the challenges of collecting large-scale ground truth annotation, highlight key breakthroughs in categorical object recognition, provide a detailed analysis of the current state of the field of large-scale image classification and object detection, and compare the state-of-the-art computer vision accuracy with human accuracy. We conclude with lessons learned in the five years of the challenge, and propose future directions and improvements.

研究动机与目标

• 建立一个基于1,000个物体类别和超过一百万张图像的大规模、标准化的物体识别与检测基准。
• 通过创新的众包技术，解决在大规模下收集和验证高精度图像标注的挑战。
• 追踪并分析五年间年度竞赛中物体识别算法（尤其是深度学习模型）的演变过程。
• 将最先进计算机视觉系统的性能与人类水平准确率在图像分类和物体检测任务上的表现进行比较。
• 提供物体类别统计特性的洞察，及其对识别性能的影响，为未来算法开发提供指导。

提出的方法

• 采用结合Amazon Mechanical Turk和内部验证的混合众包流程，为120万张图像标注边界框和类别标签。
• 实施多阶段标注流程并配备质量控制机制，包括重复检测和重叠边界框的手动验证。
• 使用50,000张图像的验证集和150,000张图像的测试集，测试标注信息被保留以防止过拟合。
• 开发了标准化的竞赛规程，配备公开的评估服务器，允许团队提交预测结果并获得自动反馈。
• 应用严格的评估指标进行物体检测，对重复检测进行惩罚，并要求精确的定位与分类。
• 发布性能评估代码，以确保提交结果的一致性和可复现性。

实验结果

研究问题

• RQ1 如何高效且准确地大规模收集高质量图像标注？
• RQ2 在像ImageNet这样大规模且多样化的数据集可用的情况下，物体识别的关键算法进步有哪些？
• RQ3 最先进计算机视觉模型在图像分类和物体检测任务上的性能与人类水平准确率相比如何？
• RQ4 物体类别的哪些统计特性会影响识别性能，又如何为未来模型设计提供指导？
• RQ5 在五年大规模视觉识别年度基准测试中，长期趋势和经验教训是什么？

主要发现

• 包含120万张图像和1,000个物体类别的ILSVRC数据集，推动了物体识别的前所未有的进展，尤其是在深度学习方面。
• 通过质量控制的众包方式显著降低了标注错误，仅0.6%的边界框为重复，1%的框存在明显重叠，且大部分已被纠正。
• 该挑战赛显示，到2014年，基于ImageNet训练的模型在验证集上的top-5错误率已低于15%，接近人类水平表现。
• 人类在ImageNet分类任务上的准确率估计为约5.1%的top-1错误率，而通过深度卷积网络，模型正迅速缩小这一差距。
• 检测任务仍更具挑战性，最先进模型在PASCAL VOC风格评估中的mAP约为30%，远低于人类表现。
• 该基准推动了深度学习在计算机视觉中的崛起，如AlexNet和GoogLeNet等模型在挑战赛中取得了显著的性能提升。