[論文レビュー] GaterNet: Dynamic Filter Selection in Convolutional Neural Network via a Dedicated Global Gating Network.

Zhourong Chen, Yang Li+2 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 24被引用数 21

ひとこと要約

GaterNetは、入力に依存する条件に基づいて、バックボーンネットワーク内の特定のフィルタを活性化するためのバイナリゲートを生成する専用のグローバルゲーターネットワークを用いた、CNNにおける動的フィルタ選択メカニズムを提案する。このアプローチにより、モデルの一般化性能が向上し、CIFAR-10では最先端の性能を達成し、ImageNetでも一貫した性能向上を示した。

ABSTRACT

The concept of conditional computation for deep nets has been proposed previously to improve model performance by selectively using only parts of the model conditioned on the sample it is processing. In this paper, we investigate input-dependent dynamic filter selection in deep convolutional neural networks (CNNs). The problem is interesting because the idea of forcing different parts of the model to learn from different types of samples may help us acquire better filters in CNNs, improve the model generalization performance and potentially increase the interpretability of model behavior. We propose a novel yet simple framework called GaterNet, which involves a backbone and a gater network. The backbone network is a regular CNN that performs the major computation needed for making a prediction, while a global gater network is introduced to generate binary gates for selectively activating filters in the backbone network based on each input. Extensive experiments on CIFAR and ImageNet datasets show that our models consistently outperform the original models with a large margin. On CIFAR-10, our model also improves upon state-of-the-art results.

研究の動機と目的

• 入力に依存する動的フィルタ選択を通じてCNNの一般化性能を向上させること。
• 異なるフィルタが異なる入力タイプの処理に特化できるようにすることで、モデルの解釈可能性を向上させること。
• 深層CNNにおける条件付き計算のための単純ながら効果的なフレームワークを開発すること。
• 標準のCNNおよび既存の動的フィルタ手法と比較して、ベンチマークデータセットで優れた性能を発揮すること。

提案手法

• 入力特徴に基づいてフィルタの活性化のためのバイナリゲートを生成するためのグローバルゲーターネットワークを導入する。
• ゲーターネットワークは、入力のグローバル統計を処理し、バックボーン内のどのフィルタが活性化されるかを決定するゲート値を出力する。
• フィルタ選択は動的かつ入力固有であり、異なるフィルタが異なる入力パターンに応答できる。
• バックボーンCNNは標準の畳み込み演算を実行するが、ゲーターデシジョンに基づき、活性化されたフィルタのみが出力に寄与する。
• システム全体は、標準の分類損失を用いてエンドツーエンドで訓練される。
• バイナリゲーティングにより、計算効率とモデルスパarsityが向上し、推論効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 入力に依存する動的フィルタ選択は、CNNの一般化性能と性能を向上させることができるか？
• RQ2 他の動的ルーティング機構と比較して、グローバルゲーターネットワークはフィルタ選択においてどのように優れているか？
• RQ3 動的フィルタ選択により、フィルタの特化を可能にすることで、モデルの解釈可能性を向上させることができるか？
• RQ4 CIFAR-10やImageNetのような標準ベンチマークで、どのような性能向上が達成できるか？
• RQ5 提案手法は、既存の動的CNNアプローチと比較して最先端の結果を達成できるか？

主な発見

• GaterNetは、CIFAR-10およびImageNetの両データセットにおいて、標準CNNよりも一貫した性能向上を達成した。
• CIFAR-10では、最先端の結果を上回る性能を示し、強力な一般化性能を実証した。
• 動的フィルタ選択メカニズムにより、入力タイプごとに特化したフィルタ動作を可能にし、モデルの解釈可能性が向上した。
• バイナリゲートの使用により、精度を損なわず計算効率とモデルスパarsityが向上した。
• グローバルゲーターネットワークは、入力の特徴に基づいて適切なフィルタに入力をルーティングするのを効果的に学習した。
• フレームワークは単純ながらも効果的であり、複数のベンチマークで強力な実証的結果を示した。