[论文解读] Embedded Implementation of a Deep Learning Smile Detector

Pedram Ghazi, Antti P. Happonen+2 more|arXiv (Cornell University)|Jul 10, 2018

Speech and Audio Processing被引用 4

一句话总结

本文提出了一种在NVIDIA Jetson TX2平台上使用异步多线程技术并行化处理流水线的实时嵌入式深度学习微笑检测器。结果表明，轻量级MobileNet架构在GENKI-4K数据集上实现了接近最先进水平的准确率（93.6%），同时计算成本显著降低——处理速度达到27.3 FPS，相较于VGG16等更重的模型，在边缘设备部署中展现出更优的速度/准确率权衡。

ABSTRACT

In this paper we study the real time deployment of deep learning algorithms in low resource computational environments. As the use case, we compare the accuracy and speed of neural networks for smile detection using different neural network architectures and their system level implementation on NVidia Jetson embedded platform. We also propose an asynchronous multithreading scheme for parallelizing the pipeline. Within this framework, we experimentally compare thirteen widely used network topologies. The experiments show that low complexity architectures can achieve almost equal performance as larger ones, with a fraction of computation required.

研究动机与目标

• 实现实时部署基于深度学习的微笑检测于低资源嵌入式平台。
• 在Jetson TX2平台上，从系统级角度评估13种深度神经网络架构在速度/准确率权衡下的表现。
• 设计并实现一种异步多线程软件架构，以实现流图像数据的高效流水线并行处理。
• 对比CPU、GPU及嵌入式GPU（Jetson TX2）在端到端微笑检测流水线中的系统级性能表现。
• 证明轻量级模型（如MobileNet）可在大幅降低计算负载的同时实现接近最先进水平的准确率，从而实现在边缘设备上的实时运行。

提出的方法

• 系统采用异步多线程架构，分别设置专用线程用于帧采集、基于Viola-Jones的人脸定位、基于预训练CNN的微笑检测以及可视化处理。
• 在GENKI-4K和CelebA数据集上，评估了13种广泛使用的深度神经网络架构（包括VGG16、MobileNet和ShuffleNet）在微笑检测任务中的表现。
• 微笑检测流水线在CPU上集成Viola-Jones人脸检测器，在GPU上运行深度CNN，通过线程安全队列管理数据流。
• 性能指标包括每秒帧数（FPS）、推理时间、模型大小和浮点运算量（FLOPs），准确率通过准确率（ACC）和AUC进行评估。
• 软件栈部署于NVIDIA Jetson TX2平台，该平台为异构嵌入式系统，配备6个ARM CPU核心和256个CUDA核心，并与台式机CPU和GPU系统进行对比。
• 系统利用Jetson平台的GPU实现并行推理，并采用模块化设计，便于集成额外检测任务（如年龄、性别识别）。

实验结果

研究问题

• RQ1 轻量级深度神经网络架构是否能在嵌入式平台上实现实时运行的同时，达到与VGG16等大型模型相当的微笑检测准确率？
• RQ2 在NVIDIA Jetson TX2平台上部署用于实时微笑检测时，不同CNN架构的系统级性能（速度、准确率、内存占用）如何？
• RQ3 所提出的异步多线程流水线架构相较于同步或单体设计，在流式图像处理系统中如何提升吞吐量和降低延迟？
• RQ4 在嵌入式微笑检测系统中，模型复杂度与FLOP数量在多大程度上与推理速度和准确率相关？
• RQ5 基于轻量级模型的系统级实现是否能在保持可接受准确率的前提下，实现比最先进检测器更快的处理速度？

主要发现

• 当α=1、ρ=1时，MobileNet架构在GENKI-4K数据集上达到93.6%的准确率，与最先进模型SmileNet（95.76%）非常接近，但计算需求显著降低。
• 所提系统在Jetson TX2平台上的平均处理速度达到27.3帧每秒，满足视频流的实时性能要求。
• VGG16每帧所需的浮点运算量约为MobileNet的750倍，但准确率仅略有提升，因此在嵌入式部署中不切实际。
• 在台式机GPU上的系统级流水线处理速度达到40–60 FPS，优于在相同数据集上报告的SmileNet的21.15 FPS，尽管后者使用了更简单的面部检测器。
• 在Jetson TX2上集成Viola-Jones人脸检测器与基于CNN的微笑检测器，实现了实时运行，其中微笑检测组件是主要性能瓶颈。
• 研究证实，对于嵌入式系统，MobileNet架构在准确率与计算效率之间提供了最佳权衡；而VGG16等大型模型因内存和延迟限制而不适合使用。