[论文解读] DEEPEYE: A Compact and Accurate Video Comprehension at Terminal Devices Compressed with Quantization and Tensorization

Yuan Cheng, Guangya Li+3 more|arXiv (Cornell University)|May 21, 2018

Human Pose and Action Recognition参考文献 21被引用 5

一句话总结

DEEPEYE 通过集成 8 位量化 YOLO 实现实时目标检测与张量化 RNN 实现动作识别，提出一种适用于终端设备的紧凑且高精度的视频理解系统。该框架在 UCF11 上实现 15,047× 参数压缩与 2.87× 推理加速，同时提升 16.58% 准确率，且在 MOMENTS 数据集上保持与全精度 YOLO 相差不超过 0.47% 的 mAP。

ABSTRACT

As it requires a huge number of parameters when exposed to high dimensional inputs in video detection and classification, there is a grand challenge to develop a compact yet accurate video comprehension at terminal devices. Current works focus on optimizations of video detection and classification in a separated fashion. In this paper, we introduce a video comprehension (object detection and action recognition) system for terminal devices, namely DEEPEYE. Based on You Only Look Once (YOLO), we have developed an 8-bit quantization method when training YOLO; and also developed a tensorized-compression method of Recurrent Neural Network (RNN) composed of features extracted from YOLO. The developed quantization and tensorization can significantly compress the original network model yet with maintained accuracy. Using the challenging video datasets: MOMENTS and UCF11 as benchmarks, the results show that the proposed DEEPEYE achieves 3.994x model compression rate with only 0.47% mAP decreased; and 15,047x parameter reduction and 2.87x speed-up with 16.58% accuracy improvement.

研究动机与目标

• 解决在资源受限的终端设备上部署大规模视频理解模型的挑战。
• 克服现有方法分别优化目标检测与动作识别所导致的局限性。
• 开发一种统一框架，在显著减少模型大小与推理时间的同时保持高准确率。
• 集成量化与张量化技术，对 YOLO 与 RNN 组件进行压缩，同时保持较小的准确率损失。
• 通过端到端优化检测与识别流水线，实现在边缘设备上的实时视频分析。

提出的方法

• 对 YOLO 应用 8 位训练后量化，保持模型准确率的同时减少模型大小与计算成本。
• 从 YOLO 输出中提取特征，并将其输入张量化 RNN（T-RNN）以实现视频分类中的序列建模。
• 使用 Tucker 分解将 RNN 的权重矩阵压缩，通过将高维张量分解为低秩分量。
• 使用量化 YOLO 的特征端到端训练 T-RNN，实现检测与识别的联合优化。
• 采用混合优化方法：对 YOLO 使用量化，对 RNN 使用张量化，从而减少参数数量并加速推理。
• 将量化 YOLO 与张量化 RNN 整合为单一流水线，实现联合视频理解，最大限度降低延迟与内存占用。

实验结果

研究问题

• RQ1 YOLO 的 8 位量化是否能在保持高检测准确率的同时实现终端设备的部署？
• RQ2 张量化 RNN 是否能有效利用 YOLO 特征对视频序列进行建模，同时降低模型复杂度？
• RQ3 将量化 YOLO 与张量化 RNN 结合是否能显著提升模型压缩率与推理速度？
• RQ4 集成系统是否能在边缘设备上实现高准确率与低延迟，以支持实时视频理解？
• RQ5 在标准视频基准测试中，所提框架相较于基线模型在参数量、速度与准确率方面表现如何？

主要发现

• 在 MOMENTS 数据集上，DEEPEYE 实现 3.994× 模型压缩率，mAP 仅下降 0.47%。
• 在 UCF11 数据集上，DEEPEYE 相较于普通 RNN 基线模型，实现 15,047× 参数压缩与 16.58% 准确率提升。
• 与全精度 YOLO 基线相比，系统在训练推理时间上实现 2.87× 加速。
• 8 位量化 YOLO（Q-YOLO）在 VOC 上保持 mAP 为 0.5350，仅比全精度 YOLO 的 0.5397 低 0.47%。
• 基于 Q-YOLO 特征输入的张量化 RNN 在 UCF11 上实现 86.09% 准确率，优于普通 RNN（69.51%）与基于帧输入的 T-RNN（79.98%）。
• 所提框架将输入到隐藏层映射的参数量从 58.98M 减少至仅 3,920，实现 15,047× 压缩。