[论文解读] Caffe: Convolutional Architecture for Fast Feature Embedding

Yangqing Jia, Evan Shelhamer+6 more|arXiv (Cornell University)|Jun 20, 2014

Advanced Image and Video Retrieval Techniques参考文献 7被引用 4,292

一句话总结

Caffe 是一个开源的、BSD 许可的 C++ 框架，带有 Python 和 MATLAB 绑定，用于快速训练、部署和卷积神经网络的实验，具有模块化层、GPU 加速和预训练模型。

ABSTRACT

Caffe provides multimedia scientists and practitioners with a clean and modifiable framework for state-of-the-art deep learning algorithms and a collection of reference models. The framework is a BSD-licensed C++ library with Python and MATLAB bindings for training and deploying general-purpose convolutional neural networks and other deep models efficiently on commodity architectures. Caffe fits industry and internet-scale media needs by CUDA GPU computation, processing over 40 million images a day on a single K40 or Titan GPU ($\approx$ 2.5 ms per image). By separating model representation from actual implementation, Caffe allows experimentation and seamless switching among platforms for ease of development and deployment from prototyping machines to cloud environments. Caffe is maintained and developed by the Berkeley Vision and Learning Center (BVLC) with the help of an active community of contributors on GitHub. It powers ongoing research projects, large-scale industrial applications, and startup prototypes in vision, speech, and multimedia.

研究动机与目标

• 为最先进的深度学习算法提供一个干净、可修改的框架。
• 实现从原型到云环境的快速研究和部署。
• 提供端到端的训练、测试、微调和部署能力。
• 包含预训练的参考模型以促进可重复的研究。

提出的方法

• 具备完整层类型集合的模块化架构（卷积、池化、非线性、损失等）。
• 通过 Protocol Buffers 配置文件将网络表示与实现分离。
• 4D blob 数据存储，按需的主机/设备内存管理，以统一 CPU/GPU 的工作。
• 单一的 CPU/GPU 开关，在不改变定义的情况下运行网络。
• 通过带学习率计划、动量和快照的随机梯度下降进行训练。
• 通过将权值转移到新架构或数据来对现有模型进行微调。

实验结果

研究问题

• RQ1 如何设计一个既快速（GPU 加速）又易于研究者和工业界适应的深度学习框架。
• RQ2 如何实现网络体系结构的规范化与部署独立于其实现？
• RQ3 预训练的参考模型是否能够加速研究并实现可重复的实验？
• RQ4 需要哪些机制来支持无缝的 CPU/GPU 部署和轻松的微调？
• RQ5 如何对数据、模型和实验进行组织，以实现从原型到生产的扩展？

主要发现

• Caffe 实现了适用于大规模媒体工作负载的快速 GPU 计算（在单个 K40 或 Titan GPU 上每天超过 4000 万张图像）。
• 网络在配置文件（Protocol Buffers）中定义，可以在 CPU 或 GPU 上运行且结果相同。
• 每个模块都有测试，提升实验的严格性和可靠性。
• 提供预训练的参考模型，以便快速试验和结果的再现。
• 该框架支持端到端的训练、测试、微调和部署，具备 Python 和 MATLAB 绑定。
• Caffe 强调表示与实现的分离，使跨平台和部署环境的切换变得容易。