[論文レビュー] Deep Learning with Separable Convolutions

François Chollet|arXiv (Cornell University)|Oct 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 12

ひとこと要約

この論文は、Inceptionモジュールを深度分離畳み込みに置き換えることで、Inceptionを制限付きの深度分離畳み込みの形式と解釈する、Xceptionと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。Xceptionモデルは、同じパラメータ数のもとでImageNetおよび3億5千万枚の画像からなる大規模データセットにおいて、Inception V3を上回る性能を発揮し、モデル容量の増加ではなく、パラメータの効率的使用が向上したことを示している。

ABSTRACT

We present an interpretation of Inception modules in convolutional neural networks as being an intermediate step in-between regular convolution and the depthwise separable convolution operation (a depthwise convolution followed by a pointwise convolution). In this light, a depthwise separable convolution can be understood as an Inception module with a maximally large number of towers. This observation leads us to propose a novel deep convolutional neural network architecture inspired by Inception, where Inception modules have been replaced with depthwise separable convolutions. We show that this architecture, dubbed Xception, slightly outperforms Inception V3 on the ImageNet dataset (which Inception V3 was designed for), and significantly outperforms Inception V3 on a larger image classification dataset comprising 350 million images and 17,000 classes. Since the Xception architecture has the same number of parameters as Inception V3, the performance gains are not due to increased capacity but rather to a more efficient use of model parameters.

研究の動機と目的

• Inceptionモジュールと深度分離畳み込みの構造的関係を調査すること。
• 既存のInceptionベースのモデルにおけるパラメータ使用の非効率性を解決すること。
• 深度分離畳み込みを活用して性能を向上させる新しいCNNアーキテクチャを設計すること。
• 大規模な画像分類ベンチマークにおいて、高いパラメータ効率を実現する新しいアーキテクチャを評価すること。

提案手法

• 著者たちは、Inceptionモジュールを深度分離畳み込みの制限付きバージョンとして再解釈する。
• 彼らは、Inceptionモジュールを深度分離畳み込みに置き換えることで、Xceptionアーキテクチャを構築する。
• 深度畳み込みは入力チャネルごとに1つのフィルタを適用し、その後にチャネル間の特徴を統合するポイントワイド畳み込みを実行する。
• 公平な比較のため、Inception V3と同一のパラメータ数を維持する。
• モデルはImageNetおよび1万7千クラスを有する3億5千万枚の画像からなる大規模データセット上で、エンドツーエンドで訓練される。
• 空間的およびチャネル別処理の分離を最大化することで、パラメータ効率を重視した設計がなされている。

実験結果

リサーチクエスチョン

• RQ1 Inceptionモジュールは、アーキテクチャ的構造において、深度分離畳み込みとどのように関係しているか？
• RQ2 Inceptionモジュールを深度分離畳み込みに置き換えることで、パラメータ数を増やさずにモデル性能を向上させることができるか？
• RQ3 Xceptionアーキテクチャは、大規模な画像分類タスクにおいて、Inception V3よりも一般化性能が優れているか？
• RQ4 パラメータ効率は、ディープ畳み込みネットワークにおける性能向上にどの程度寄与しているか？

主な発見

• 同じパラメータ数のもとで、XceptionはImageNetデータセットにおいてInception V3をわずかに上回る性能を発揮する。
• 3億5千万枚の画像と1万7千クラスからなる大規模データセットでは、XceptionはInception V3を顕著に上回る。
• Xceptionの性能向上は、モデル容量の増加ではなく、より効率的なパラメータ使用に起因する。
• Inceptionモジュールから深度分離畳み込みへのアーキテクチャ的シフトにより、同等のパラメータ予算のもとでより優れた特徴学習が可能になった。