[论文解读] MixConv: Mixed Depthwise Convolutional Kernels

Mingxing Tan, Quoc V. Le|arXiv (Cornell University)|Jul 22, 2019

Advanced Neural Network Applications参考文献 31被引用 295

一句话总结

MixConv 引入混合深度卷积，在单个深度卷积操作中应用多种内核大小，从而提升 MobileNets 的精度与效率，并通过神经架构搜索实现 MixNets。

ABSTRACT

Depthwise convolution is becoming increasingly popular in modern efficient ConvNets, but its kernel size is often overlooked. In this paper, we systematically study the impact of different kernel sizes, and observe that combining the benefits of multiple kernel sizes can lead to better accuracy and efficiency. Based on this observation, we propose a new mixed depthwise convolution (MixConv), which naturally mixes up multiple kernel sizes in a single convolution. As a simple drop-in replacement of vanilla depthwise convolution, our MixConv improves the accuracy and efficiency for existing MobileNets on both ImageNet classification and COCO object detection. To demonstrate the effectiveness of MixConv, we integrate it into AutoML search space and develop a new family of models, named as MixNets, which outperform previous mobile models including MobileNetV2 [20] (ImageNet top-1 accuracy +4.2%), ShuffleNetV2 [16] (+3.5%), MnasNet [26] (+1.3%), ProxylessNAS [2] (+2.2%), and FBNet [27] (+2.0%). In particular, our MixNet-L achieves a new state-of-the-art 78.9% ImageNet top-1 accuracy under typical mobile settings (<600M FLOPS). Code is at https://github.com/ tensorflow/tpu/tree/master/models/official/mnasnet/mixnet

研究动机与目标

• 研究深入核大小在深度卷积中的影响并识别单内核设计的局限性。
• 提出 MixConv，在一个深度卷积中混合多种内核大小。
• 展示 MixConv 作为无缝替代方案，在 ImageNet 与 COCO 上提升准确性与效率。
• 通过神经架构搜索发展 MixNets，以实现移动端的最新性能。
• 展示 MixNets 在标准数据集上的迁移学习效果。

提出的方法

• 将 MixConv 定义为将输入通道分组并对每组应用不同的内核大小。
• 将每组的内核大小限定为递增的奇数大小（3x3、5x5、7x7、9x9、...）。
• 探讨通道分组策略（等量 vs 指数分配）并与膨胀替代方案进行比较。
• 将 MixConv 作为对 MobileNets 中普通深度卷积的无缝替代实现。
• 使用神经架构搜索（MnasNet 风格）推导 MixNets，并在 ImageNet 及迁移数据集上进行评估。

实验结果

研究问题

• RQ1 在单个深度卷积中混合多种内核大小，是否在准确性和效率上优于单内核深度卷积？
• RQ2 对于移动端模型，MixConv 的有效设计选择（分组大小、每组的内核大小、通道分配）有哪些？
• RQ3 基于 MixConv 的架构（MixNets）是否在 FLOPS 约束下超过现有移动网络在 ImageNet 和迁移数据集上的表现？
• RQ4 与普通深度卷积相比，MixConv 在对象检测（COCO）上的表现如何？
• RQ5 当与多内核混合结合时，极大内核在 MixConv 中是否仍然有益？

主要发现

模型	类型	#参数	#FLOPS	Top-1	Top-5
MixNet-S	auto	4.1M	256M	75.8	92.8
MixNet-M	auto	5.0M	360M	77.0	93.3
MixNet-L	auto	7.3M	565M	78.9	94.2

• MixConv 可作为对普通深度卷积的简单无缝替代，在 ImageNet 与 COCO 上提升了 MobileNets 的准确性与效率。
• 使用多种内核大小可以缓解非常大单内核导致的精度下降，从而以更少的代价实现更大的感受野。
• 通过 NAS 发现的 MixNets，在类似 FLOPS 的条件下超越 MobileNetV2、ShuffleNetV2、MnasNet、ProxylessNAS 和 FBNet，在 MixNet-L 上实现了 ImageNet 的 78.9% 的 Top-1。
• MixNet-S 和 MixNet-M 在 CIFAR-10/100、Pets、和 Food-101 上实现了很强的迁移学习结果，MixNet-M 在迁移任务上以远低于 ResNet-50 的 FLOPS 达到 97.92% 的准确率。
• 指数通道分区能够在保持准确性的同时减少参数量/FLOPS，而大多数组合下的膨胀变体在多数情况下不如大内核 MixConv 的表现。