[论文解读] Deep Image: Scaling up Image Recognition

Wu Ren, Shengen Yan+3 more|arXiv (Cornell University)|Jan 13, 2015

Advanced Neural Network Applications参考文献 54被引用 330

一句话总结

Deep Image 提出了一种可扩展的图像识别系统，采用定制超算、优化的并行算法、更大的深度神经网络、先进的数据增强技术以及多尺度高分辨率输入。通过端到端的深度学习优化，该系统在多个计算机视觉基准测试中实现了最先进性能。

ABSTRACT

We present a state-of-the-art image recognition system, Deep Image, developed using end-to-end deep learning. The key components are a custom-built supercomputer dedicated to deep learning, a highly optimized parallel algorithm using new strategies for data partitioning and communication, larger deep neural network models, novel data augmentation approaches, and usage of multi-scale high-resolution images. Our method achieves excellent results on multiple challenging computer vision benchmarks.

研究动机与目标

• 开发一种可扩展的图像识别系统，能够以高精度处理大规模视觉数据集。
• 解决现有深度学习系统在高分辨率图像上高效训练大型模型的局限性。
• 通过新颖的数据增强和多尺度输入处理技术，提升识别准确率。
• 优化分布式训练中的通信和数据分区策略，以实现更快收敛和更好的可扩展性。

提出的方法

• 使用专为加速深度学习工作负载而设计的定制超算。
• 采用高度优化的并行算法，引入新型数据分区和节点间通信策略。
• 由于系统具备可扩展性，训练了比以往更大型的深度神经网络架构。
• 应用新颖的数据增强技术，以提升模型的泛化能力和鲁棒性。
• 在训练和推理过程中以多尺度处理图像，以增强特征学习能力。
• 采用端到端深度学习，联合优化识别流程的所有组件。

实验结果

研究问题

• RQ1 如何实现深度学习系统在高分辨率图像上高效训练更大模型的可扩展性？
• RQ2 在分布式深度学习中，哪些通信和数据分区策略能最大化训练吞吐量？
• RQ3 多尺度输入和先进数据增强在多大程度上能提升识别准确率？
• RQ4 定制超算架构是否能在大规模图像识别任务中超越标准 GPU 集群？

主要发现

• Deep Image 在多个具有挑战性的计算机视觉基准测试中实现了最先进性能。
• 定制超算使更大深度神经网络的训练速度优于传统系统。
• 优化的数据分区和通信策略显著缩短了训练时间并提升了可扩展性。
• 多尺度高分辨率输入显著增强了特征表示能力和识别准确率。
• 新颖的数据增强策略在不增加推理成本的前提下提升了模型泛化能力。