[论文解读] Mixture of Pre-processing Experts Model for Noise Robust Deep Learning on Resource Constrained Platforms

Taesik Na, Minah Lee+4 more|arXiv (Cornell University)|Apr 29, 2019

Advanced Neural Network Applications参考文献 20被引用 4

一句话总结

本文提出了一种轻量级的预处理专家混合模型（MoPE），以提升在资源受限的边缘设备上面对噪声和低质量输入时深度学习的鲁棒性。通过使用门控网络动态选择身份、平均滤波或对抗训练自编码器预处理专家，MoPE在仅增加0.67%内存和0.17%计算开销的前提下，显著提升了在噪声数据上的目标检测、跟踪和行为分类准确率。

ABSTRACT

Deep learning on an edge device requires energy efficient operation due to ever diminishing power budget. Intentional low quality data during the data acquisition for longer battery life, and natural noise from the low cost sensor degrade the quality of target output which hinders adoption of deep learning on an edge device. To overcome these problems, we propose simple yet efficient mixture of pre-processing experts (MoPE) model to handle various image distortions including low resolution and noisy images. We also propose to use adversarially trained auto encoder as a pre-processing expert for the noisy images. We evaluate our proposed method for various machine learning tasks including object detection on MS-COCO 2014 dataset, multiple object tracking problem on MOT-Challenge dataset, and human activity classification on UCF 101 dataset. Experimental results show that the proposed method achieves better detection, tracking and activity classification accuracies under noise without sacrificing accuracies for the clean images. The overheads of our proposed MoPE are 0.67% and 0.17% in terms of memory and computation compared to the baseline object detection network.

研究动机与目标

• 解决在功耗受限的边缘设备上部署深度学习时，传感器噪声和低分辨率输入导致模型性能下降的挑战。
• 开发一种轻量级、高效的预处理方案，在保持干净数据高准确率的同时，提升在噪声或低质量输入下的鲁棒性。
• 通过使用动态门控机制将输入路由至合适的预处理专家，最小化边缘部署中的计算和内存开销。
• 在多种任务中验证MoPE的有效性，包括目标检测、多目标跟踪和人体行为分类。
• 证明MoPE在干净数据和噪声数据场景下均优于数据增强和固定预处理模块。

提出的方法

• 训练一个门控网络以分类输入图像的分布（干净、噪声、低分辨率），并将其路由至合适的预处理专家。
• 使用三种预处理专家：身份（用于干净/低分辨率图像）、平均滤波（用于低分辨率图像）以及带有跳跃连接的对抗训练自编码器（用于噪声图像）。
• 对抗训练的自编码器被优化为从噪声输入中重建干净图像，同时保留结构细节，减少噪声而不引入空间失真。
• MoPE框架集成在主深度神经网络（如Faster R-CNN、Inception V2）之前，将预处理后的输出送入主干网络。
• 门控网络与主任务网络端到端联合训练，使用交叉熵损失优化基于输入质量的路由决策。
• 通过为门控网络和去噪自编码器使用小型网络结构，最小化模型复杂度，确保在边缘平台上的开销可忽略不计。

实验结果

研究问题

• RQ1 动态预处理流水线是否能在不降低干净数据准确率的前提下，提升在噪声和低质量输入下的深度学习性能？
• RQ2 如何设计一种轻量级专家混合模型，以最小化边缘设备上的内存和计算开销？
• RQ3 使用对抗训练自编码器作为预处理专家，是否在噪声环境下比传统滤波方法更有效地保持检测和分类准确率？
• RQ4 MoPE能否在目标检测、多目标跟踪和人体行为识别等不同深度学习任务中实现泛化？
• RQ5 在边缘平台上将MoPE集成到现有深度学习模型中，其实际内存和计算开销是多少？

主要发现

• 在MS-COCO 2014数据集上，MoPE在高斯噪声（σ=0.15）条件下，IoU=0.5时的平均精度（mAP）达到0.531，优于基线模型和数据增强模型。
• 在MOT-Challenge数据集上的多目标跟踪任务中，使用去噪专家的MoPE在干净和噪声条件下均获得了高于所有基线模型（包括数据增强模型）的MOTA分数。
• 在UCF 101数据集上的人体行为分类任务中，MoPE在噪声数据（σ=0.15）下的准确率达到0.531，优于数据增强模型的0.492和基线模型的0.157。
• 与基线Faster R-CNN（使用Inception V2）相比，MoPE仅引入了0.67%的额外内存和0.17%的额外计算开销。
• 门控网络成功地将输入路由至合适的专家，其中去噪自编码器被选用于噪声输入，身份专家被选用于干净/低分辨率输入。
• 该方法在卷积网络和循环网络中均表现出一致的性能提升，证明其适用于多种深度学习任务。