[論文レビュー] Soft Conditional Computation.

Brandon Yang, Gabriel Bender+2 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Neural Network Applications参考文献 15被引用数 7

ひとこと要約

本論文では、各入力例ごとに特化した畳み込みカーネルを学習する方法である、条件付きパrameterized Convolution（CondConv）を提案する。この手法により、推論コストを増加させることなく、より大きなネットワーク容量を実現できる。EfficientNet-B0における標準的な畳み込みをCondConvに置き換えることで、413Mの乗加算のみでImageNet上で78.3%のトップ1精度を達成し、新たなSOTAを樹立した。

ABSTRACT

Convolutional layers are one of the basic building blocks of modern deep neural networks. One fundamental assumption is that convolutional kernels should be shared for all examples in a dataset. We propose conditionally parameterized convolutions (CondConv), which learn specialized convolutional kernels for each example. Replacing normal convolutions with CondConv enables us to increase the size and capacity of a network, while maintaining efficient inference. We demonstrate that scaling networks with CondConv improves the performance and inference cost trade-off of several existing convolutional neural network architectures on both classification and detection tasks. On ImageNet classification, our CondConv approach applied to EfficientNet-B0 achieves state-of-the-art performance of 78.3% accuracy with only 413M multiply-adds. Code and checkpoints for the CondConv Tensorflow layer and CondConv-EfficientNet models are available at: this https URL.

研究の動機と目的

• 標準的なCNNではすべての入力に対して固定で共有される畳み込みカーネルの制限を克服すること。
• 推論コストを増加させることなく、より大きな表現力を持つネットワークを可能にすること。
• 既存のCNNアーキテクチャにおける精度と推論コストのトレードオフを改善すること。
• 分類および検出タスクにおける条件付きカーネルパラメータ化の有効性を実証すること。

提案手法

• 入力例ごとにカーネル重みを予測するルーティングネットワークを学習する。
• 各畳み込みカーネルは、入力に応じて重み付けされた基底カーネルの和として定義される。
• ルーティングネットワークは微分可能であり、ネットワークの残りの部分とエンドツーエンドで同時に学習される。
• EfficientNetのような既存のアーキテクチャの標準畳み込みをCondConvレイヤーに置き換える。
• 各レイヤーで少数の基底カーネルを使用することで、計算効率を維持する。
• 標準的なバックプロパゲーションと勾配ベース最適化を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 条件付きカーネルパラメータ化は、推論コストを増加させることなくモデル容量を向上させることができるか？
• RQ2 CondConvは、既存のCNNにおける精度とFLOPのトレードオフにどのように影響を与えるか？
• RQ3 CondConvは画像分類や物体検出といった異なるタスクに一般化可能か？
• RQ4 効果的な性能スケーリングのための最適な基底カーネル数は何か？
• RQ5 CondConvは、低FLOP数でImageNetにおけるSOTA性能を達成できるか？

主な発見

• EfficientNet-B0にCondConvを適用したモデルは、ImageNetで78.3%のトップ1精度を達成し、新たなSOTAを樹立した。
• この性能はたった413Mの乗加算で達成されており、高い効率性を示している。
• 複数のCNNアーキテクチャにおいて、精度と推論コストのトレードオフが改善された。
• 入力例ごとに特化したカーネルを学習できる能力が、性能向上の要因である。
• 少数の基底カーネルと条件付きルーティングを用いることで、推論コストを低く維持している。
• CondConvレイヤーおよびモデル用のコードとチェックポイントが公開されている。