[论文解读] Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation

Andrew Howard, Andrey Zhmoginov+3 more|arXiv (Cornell University)|Jan 13, 2018

Advanced Neural Network Applications参考文献 8被引用 712

一句话总结

本文提出了 MobileNetV2，一种面向移动设备优化的神经网络架构，采用倒残差结构与线性瓶颈设计，在降低计算成本的同时提升了准确性。通过使用深度可分离卷积，并在狭窄的瓶颈层中移除非线性激活函数，MobileNetV2 在 ImageNet、COCO 检测和 VOC 分割任务上均实现了最先进性能，且参数量和乘加操作（MAdd）更少。

ABSTRACT

In this paper we describe a new mobile architecture, MobileNetV2, that improves the state of the art performance of mobile models on multiple tasks and benchmarks as well as across a spectrum of different model sizes. We also describe efficient ways of applying these mobile models to object detection in a novel framework we call SSDLite. Additionally, we demonstrate how to build mobile semantic segmentation models through a reduced form of DeepLabv3 which we call Mobile DeepLabv3. The MobileNetV2 architecture is based on an inverted residual structure where the input and output of the residual block are thin bottleneck layers opposite to traditional residual models which use expanded representations in the input an MobileNetV2 uses lightweight depthwise convolutions to filter features in the intermediate expansion layer. Additionally, we find that it is important to remove non-linearities in the narrow layers in order to maintain representational power. We demonstrate that this improves performance and provide an intuition that led to this design. Finally, our approach allows decoupling of the input/output domains from the expressiveness of the transformation, which provides a convenient framework for further analysis. We measure our performance on Imagenet classification, COCO object detection, VOC image segmentation. We evaluate the trade-offs between accuracy, and number of operations measured by multiply-adds (MAdd), as well as the number of parameters

研究动机与目标

• 为资源受限环境开发一种更高效且更准确的移动神经网络架构。
• 在移动平台上提升图像分类、目标检测与语义分割等多任务的性能。
• 在不损失准确率的前提下，降低以乘加操作（MAdd）和模型参数衡量的计算成本。
• 探索能够将输入/输出域与变换表达能力解耦的架构设计选择，以提升模型分析能力。

提出的方法

• 提出一种倒残差模块结构，其中瓶颈层在输入和输出处较窄，与传统残差网络早期扩展特征的方式形成对比。
• 在中间的扩展层中使用深度可分离卷积，以减少计算量，高效地过滤特征。
• 在狭窄的瓶颈层中移除非线性激活函数，以保留表征能力并改善特征学习。
• 引入线性瓶颈设计，其中最终的投影层采用线性变换，以保持特征完整性。
• 通过一种名为 SSDLite 的新框架将 MobileNetV2 架构应用于目标检测，该框架融合了面向移动设备的设计原则。
• 通过采用 DeepLabv3 的简化形式，将架构适配用于语义分割，命名为 Mobile DeepLabv3，以保持高效性。

实验结果

研究问题

• RQ1 如何设计一种移动神经网络架构，以在最小化 FLOPs 和参数量的同时实现高精度？
• RQ2 哪些架构组件能够实现在低资源环境下的高效特征表征？
• RQ3 为何在瓶颈层中移除非线性激活函数能提升移动模型的性能？
• RQ4 倒残差结构结合线性瓶颈是否能在分类、检测与分割等多类视觉任务中实现泛化？
• RQ5 将输入/输出域与变换表达能力解耦，如何影响模型性能与设计灵活性？

主要发现

• MobileNetV2 在 ImageNet 分类任务上实现了最先进精度，且乘加操作（MAdd）少于 3000 万。
• 该模型在仅使用 250 万个参数和 3 亿 MAdd 的情况下，ImageNet 的 top-1 准确率达到 71.2%，优于以往的移动模型。
• 基于 MobileNetV2 的 SSDLite 检测框架在保持低延迟和小模型尺寸的同时，实现了与 COCO 目标检测性能相当的检测效果。
• 轻量级分割变体 Mobile DeepLabv3 在 VOC 语义分割任务上表现出色，且计算成本极低。
• 在瓶颈层中移除非线性激活函数可提升表征能力，并在所有评估任务中带来可测量的准确率提升。
• 倒残差结构结合线性瓶颈可实现更优的特征学习与高效的参数利用，使其非常适合在移动设备与边缘设备上部署。