[论文解读] DeepLearningKit - an GPU Optimized Deep Learning Framework for Apple's iOS, OS X and tvOS developed in Metal and Swift

Amund Tveit, Torbjorn Morland+1 more|arXiv (Cornell University)|May 15, 2016

Green IT and Sustainability参考文献 3被引用 4

一句话总结

DeepLearningKit 是一个基于 Metal 和 Swift 构建的 GPU 加速深度学习框架，专为 Apple 的 iOS、macOS 和 tvOS 平台设计，可实现预训练卷积神经网络的设备端推理。通过针对 Metal 的内核进行优化，实现高效的 GPU 执行，该框架在 iPhone 6S 上将推理速度提升至最高 10 倍，最低仅 100ms，支持来自 Caffe、Theano 等框架的模型，并通过一种新型应用商店式模型机制实现可重用预训练模型的分发。

ABSTRACT

In this paper we present DeepLearningKit - an open source framework that supports using pretrained deep learning models (convolutional neural networks) for iOS, OS X and tvOS. DeepLearningKit is developed in Metal in order to utilize the GPU efficiently and Swift for integration with applications, e.g. iOS-based mobile apps on iPhone/iPad, tvOS-based apps for the big screen, or OS X desktop applications. The goal is to support using deep learning models trained with popular frameworks such as Caffe, Torch, TensorFlow, Theano, Pylearn, Deeplearning4J and Mocha. Given the massive GPU resources and time required to train Deep Learning models we suggest an App Store like model to distribute and download pretrained and reusable Deep Learning models.

研究动机与目标

• 在 Apple 的移动和桌面平台实现预训练深度学习模型的高效设备端推理。
• 通过底层 Metal 编程优化 GPU 利用率，实现高性能推理。
• 通过模型导入器支持与 Caffe、Theano 和 TensorFlow 等主流深度学习框架的互操作性。
• 提出一种类似应用商店的模型机制，用于在设备间分发和重用预训练深度学习模型。
• 探索 FFT 基卷积、低精度算术运算和模型压缩等优化技术，以提升性能和可扩展性。

提出的方法

• 使用 Metal（一种为 Apple 硬件高度优化的底层 GPU 编程语言）实现 GPU 加速的深度学习算子（如卷积、池化、ReLU、Softmax）。
• 使用 Swift 实现高层应用集成，支持无缝嵌入 iOS、tvOS 和 macOS 应用中。
• 将 Metal 内核移植到 OpenCL 和 Vulkan SPIR-V，以实现跨平台兼容性并为未来优化铺路。
• 设计模型导入器，将 Caffe 和 Theano 的训练模型转换为 JSON 序列化格式，以便在 DeepLearningKit 中运行时加载。
• 通过 Xcode 性能分析识别 Metal 驱动中的性能瓶颈，并指导底层优化。
• 探索高级优化策略，如 16 位浮点计算、原地操作和近似矩阵乘法，以减少内存占用和能耗。

实验结果

研究问题

• RQ1 如何通过 GPU 优化的底层代码加速 Apple 移动和桌面平台上的设备端深度学习推理？
• RQ2 使用基于 Metal 的框架，从旧型 GPU（如 PowerVR G6430）迁移到新型 GPU（如 PowerVR GT7600）能带来多大的性能提升？
• RQ3 预训练的深度学习模型在 Caffe 和 Theano 等不同框架之间，能在多大程度上实现高效导入和执行？
• RQ4 集中式应用商店式模型在移动设备上分发可重用的预训练深度学习模型方面，效果如何？
• RQ5 哪些优化技术（如模型压缩、低精度算术运算或 FFT 基卷积）能显著提升推理速度和内存效率？

主要发现

• 在 iPhone 6S 上，CIFAR-10 数据集上 20 层 NIN 网络的推理时间从 iPhone 5S 上的约 2 秒降至 100ms 以下，性能提升达 10 倍。
• 该框架在图像分类任务中实现了用户可感知的响应速度（低于 100ms），符合 Jacob Nielsen 提出的即时系统反馈标准。
• 由于 OpenCL 和 Vulkan SPIR-V 在语法和架构上与 Metal 相似，将 Metal 内核移植到 OpenCL 和 Vulkan SPIR-V 是可行的。
• 模型压缩技术可将 AlexNet 等大型模型的大小从 240MB 减少至 6.9MB，使 128GB 的 iPhone 可存储超过 18,000 个此类模型。
• 对 Caffe 训练的 NIN 和 Theano 训练的 LeNet 的初步支持，证明了跨框架兼容性，并实现了设备端的功能性推理。
• Metal 驱动中的性能瓶颈表明，通过 OpenCL/Vulkan SPIR-V 等工具进行更底层的调优，仍有进一步性能提升的空间。