[论文解读] Object Recognition Using Deep Neural Networks: A Survey

Soren Goyal, Paul R. Benjamin|arXiv (Cornell University)|Dec 10, 2014

Advanced Neural Network Applications参考文献 31被引用 18

一句话总结

本综述回顾了深度神经网络在目标识别中的最新进展，重点关注卷积神经网络（CNN）及其架构创新。其在ImageNet等基准数据集上表现出最先进的性能，例如在ILSVRC-2014中，顶尖模型的准确率超过93%，并讨论了其在图像识别、语音处理和医学影像中的应用。

ABSTRACT

Recognition of objects using Deep Neural Networks is an active area of research and many breakthroughs have been made in the last few years. The paper attempts to indicate how far this field has progressed. The paper briefly describes the history of research in Neural Networks and describe several of the recent advances in this field. The performances of recently developed Neural Network Algorithm over benchmark datasets have been tabulated. Finally, some the applications of this field have been provided.

研究动机与目标

• 总结深度神经网络在目标识别中的演进过程与当前状态，特别关注卷积架构。
• 识别推动标准基准数据集上性能提升的关键架构创新。
• 分析大规模数据集和训练技术在推进视觉任务深度学习中的作用。
• 探索深度神经网络在图像分类之外的新兴应用，包括语音识别和医学诊断。
• 突出数据标注、计算成本以及神经网络中高效、增量学习的必要性等挑战。

提出的方法

• 本文对深度神经网络架构进行了全面综述，特别强调卷积神经网络（CNN）及其组件，如卷积层、池化、激活函数和正则化技术。
• 使用报告的准确率指标，评估了ImageNet、CIFAR-10、CIFAR-100、STL-10、MNIST和SVHN等主要基准数据集上的性能表现。
• 分析了关键算法进步，如Dropout、批量归一化、Maxout网络以及无监督预训练的使用，以提升泛化能力。
• 追溯了从ADALINE和MADALINE等早期模型到现代深度学习框架的神经网络发展历程，强调反向传播和GPU加速的作用。
• 研究了在真实系统中的应用，包括Google的Street View隐私过滤、ATM支票识别，以及使用迁移学习的医学图像分析。
• 讨论了众包数据集如ImageNet和MS-COCO的使用，并评估了其在标注模糊性和可扩展性方面的局限性。

实验结果

研究问题

• RQ1 深度神经网络中的哪些架构创新推动了目标识别中的突破性性能？
• RQ2 近期的深度学习模型如何在标准图像分类基准上超越传统特征工程方法？
• RQ3 大规模人工标注数据集如ImageNet和MS-COCO在推动深度学习性能方面发挥了什么作用？
• RQ4 深度神经网络在哪些实际应用中表现出优于经典机器学习方法的性能？
• RQ5 当前深度学习系统的关键局限性是什么，特别是在数据效率、计算成本以及增量学习新知识的能力方面？

主要发现

• 在ILSVRC-2012中，获胜的深度学习模型达到了83%的top-1准确率，标志着对先前方法的显著飞跃。
• 到ILSVRC-2014年，顶尖模型的top-1准确率达到93.3%，表明深度学习在图像识别方面取得了飞速进展。
• 在MNIST数据集上，最先进模型达到了99.77%的准确率，已接近人类水平性能。
• 在CIFAR-10上，Network in Network和Maxout Networks模型分别实现了91.2%和90.65%的准确率，显示出在小规模数据上的强大泛化能力。
• 在SVHN上，深度CNN达到了97.84%的准确率，优于传统方法并接近人类水平性能。
• 本文指出，ImageNet上的人类性能估计为94%，表明深度学习模型已在某些基准上超越或接近人类水平准确率。