[论文解读] Deep Learning with Separable Convolutions

François Chollet|arXiv (Cornell University)|Oct 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 11被引用 12

一句话总结

本文提出 Xception，一种新型卷积神经网络架构，通过使用深度可分离卷积替代 Inception 模块，将 Inception 模块解释为深度可分离卷积的一种受限形式。Xception 模型在参数数量相同的情况下，在 ImageNet 和一个大规模 3.5 亿张图像的数据集上均优于 Inception V3，展现出更高的参数效率，而非更高的模型容量。

ABSTRACT

We present an interpretation of Inception modules in convolutional neural networks as being an intermediate step in-between regular convolution and the depthwise separable convolution operation (a depthwise convolution followed by a pointwise convolution). In this light, a depthwise separable convolution can be understood as an Inception module with a maximally large number of towers. This observation leads us to propose a novel deep convolutional neural network architecture inspired by Inception, where Inception modules have been replaced with depthwise separable convolutions. We show that this architecture, dubbed Xception, slightly outperforms Inception V3 on the ImageNet dataset (which Inception V3 was designed for), and significantly outperforms Inception V3 on a larger image classification dataset comprising 350 million images and 17,000 classes. Since the Xception architecture has the same number of parameters as Inception V3, the performance gains are not due to increased capacity but rather to a more efficient use of model parameters.

研究动机与目标

• 探索 Inception 模块与深度可分离卷积之间的结构关系。
• 解决现有基于 Inception 的模型中参数使用效率低下的问题。
• 设计一种利用深度可分离卷积的新 CNN 架构以提升性能。
• 在大规模图像分类基准上评估新架构的性能，实现高参数效率。

提出的方法

• 作者将 Inception 模块重新解释为深度可分离卷积的一种受限形式。
• 他们提出用深度可分离卷积替代 Inception 模块，从而构建 Xception 架构。
• 深度卷积对每个输入通道应用单一滤波器，随后通过逐点卷积在通道间组合特征。
• 该架构保持与 Inception V3 相同的参数数量，以确保公平比较。
• 模型在 ImageNet 和一个包含 1.7 万个类别的 3.5 亿张图像的大规模数据集上进行端到端训练。
• 设计强调参数效率，通过最大化空间操作与通道操作的分离来实现。

实验结果

研究问题

• RQ1 Inception 模块在架构结构上与深度可分离卷积有何关联？
• RQ2 在不增加参数数量的前提下，用深度可分离卷积替代 Inception 模块是否能提升模型性能？
• RQ3 Xception 架构在大规模图像分类任务中是否比 Inception V3 具有更好的泛化能力？
• RQ4 参数效率在深度卷积神经网络的性能提升中起到了多大作用？

主要发现

• 尽管参数数量相同，Xception 在 ImageNet 数据集上的表现略优于 Inception V3。
• 在包含 3.5 亿张图像和 1.7 万个类别的大规模数据集中，Xception 显著优于 Inception V3。
• Xception 的性能提升归因于更高效的参数利用，而非模型容量的增加。
• 从 Inception 模块向深度可分离卷积的架构转变，使得在相同参数预算下能够实现更优的特征学习。