[論文レビュー] CondConv: Conditionally Parameterized Convolutions for Efficient Inference

Brandon Yang, Gabriel Bender+2 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Neural Network Applications参考文献 45被引用数 283

ひとこと要約

この論文は Conditionally Parameterized Convolutions (CondConv) を導入し、各サンプルの畳み込みカーネルを専門家カーネルの加重結合として生成することで、推論コストの比例的な増加なしに能力を向上させ、ImageNet と COCO で複数のアーキテクチャに対して精度を改善します。

ABSTRACT

Convolutional layers are one of the basic building blocks of modern deep neural networks. One fundamental assumption is that convolutional kernels should be shared for all examples in a dataset. We propose conditionally parameterized convolutions (CondConv), which learn specialized convolutional kernels for each example. Replacing normal convolutions with CondConv enables us to increase the size and capacity of a network, while maintaining efficient inference. We demonstrate that scaling networks with CondConv improves the performance and inference cost trade-off of several existing convolutional neural network architectures on both classification and detection tasks. On ImageNet classification, our CondConv approach applied to EfficientNet-B0 achieves state-of-the-art performance of 78.3% accuracy with only 413M multiply-adds. Code and checkpoints for the CondConv Tensorflow layer and CondConv-EfficientNet models are available at: https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv.

研究の動機と目的

• 全てのサンプル間で共有される畳み込みカーネルの仮定に挑戦する。
• 推論コストの大幅な上昇を伴わずにモデル容量と性能を向上させる。
• CondConv をCNNアーキテクチャ全体のドロップイン置換として実証する。
• CondConv 対応モデルで ImageNet 分類と COCO 検出の精度向上を示す。

提案手法

• 畳み込みカーネルを n 個の専門家カーネルの線形結合としてパラメータ化する: Output(x) = σ((α1W1 + ... + αnWn) * x).
• グローバル平均プーリング、全結合層、シグモイド活性化を用いてサンプルごとのルーティング重み αi = ri(x) を算出する。
• 訓練を安定化・正則化するためにブロック内の層間でルーティング重みを共有する。
• 各サンプルのカーネル計算で訓練するか、効率のための専門家混合の同等形式で訓練する。
• CondConv を複数のアーキテクチャ（MobileNetV1/V2、ResNet-50、MnasNet、EfficientNet）に適用し、ImageNet および COCO で評価する。
• 必要に応じてドロップアウト、AutoAugment、Mixup、Shake-Shake に着想を得た専門家ドロップアウトで正則化する。

実験結果

リサーチクエスチョン

• RQ1 CondConv は diverse な CNN アーキテクチャで推論コストを過度に増やすことなく精度を向上させるのか。
• RQ2 CondConv 層ごとに専門家の数を増やすと性能と効率はどのように変化するのか。
• RQ3 ネットワークのどこに CondConv を適用すべきか、精度とコストのトレードオフを最大化するには。
• RQ4 学習されたルーティング重みの性質とクラス間の解釈可能性はどうなるのか。
• RQ5 CondConv は画像分類（ImageNet）と物体検出（COCO）の両方でどのように機能するのか。

主な発見

• CondConv は MobileNetV1、MobileNetV2、MnasNet-A1、ResNet-50、EfficientNet-B0 のトップ-1 精度を一貫して改善し、推論コストは 10% 未満の増加にとどまる。
• ImageNet では、EfficientNet-B0 の CondConv with 8 experts が 413M multiply-adds で 78.3% top-1、CondConv-EfficientNet-B0-depth では 614M MADDs で 79.5% を達成。
• CondConv を用いたモデルは、COCO の minival の mAP が同等またはより低い MADDs でベースラインより高い（例: CondConv-MobileNetV1(0.75x) および SSD300 は同等コストでより高い mAP を示す）。
• ルーティング重みは深い層でクラス特異性を帯び、最終層の専門家は二峰性分布を示し、専門家の専門化を示唆する。
• 全層に CondConv を適用すると性能が向上する一方、初期の層に CondConv を配置するとリターンが減少する。