[論文レビュー] You Look Twice: GaterNet for Dynamic Filter Selection in CNNs

Zhourong Chen, Li Yang+2 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 31被引用数 6

ひとこと要約

GaterNetは、入力に依存するバイナリーゲートを生成する専用のゲートネットワークを用いて、CNNにおける動的フィルタ選択のための新規フレームワークを提案する。バイナリーゲートの微分可能訓練を可能にするImproved SemHashを採用することで、パrameter増加率がたった1.2%に抑えられ、CIFAR-10では最先端の性能を達成。また、ImageNetでも一貫してベースラインモデルを上回り、顕著な精度向上を実現する。

ABSTRACT

The concept of conditional computation for deep nets has been proposed previously to improve model performance by selectively using only parts of the model conditioned on the sample it is processing. In this paper, we investigate input-dependent dynamic filter selection in deep convolutional neural networks (CNNs). The problem is interesting because the idea of forcing different parts of the model to learn from different types of samples may help us acquire better filters in CNNs, improve the model generalization performance and potentially increase the interpretability of model behavior. We propose a novel yet simple framework called GaterNet, which involves a backbone and a gater network. The backbone network is a regular CNN that performs the major computation needed for making a prediction, while a global gater network is introduced to generate binary gates for selectively activating filters in the backbone network based on each input. Extensive experiments on CIFAR and ImageNet datasets show that our models consistently outperform the original models with a large margin. On CIFAR-10, our model also improves upon state-of-the-art results.

研究の動機と目的

• 入力全体の包括的視点に基づき、入力依存の動的フィルタ選択を可能にすることで、CNNの汎化性能を向上させること。
• グローバルゲーティング機構を用いて、CNN内のフィルタ選択を学習可能でエンドツーエンドのフレームワークとして設計すること。
• 入力コンテンツに基づくフィルタの選択的活性化により、計算コストを低減し、モデルの解釈性を向上させること。
• CIFARやImageNetのような標準ベンチマークにおいて、固定アーキテクチャのCNNや既存の条件付き計算手法を上回ること。
• ゲートネットワークが直感的で効果的なフィルタ選択戦略を学習できるかどうかを分析すること。

提案手法

• 専用のゲートネットワークが入力を処理し、メインネットワーク内のフィルタ選択用のバイナリーゲートを生成する。
• 局所的な設定手法とは異なり、入力のグローバルな視点を用いて、どのフィルタを活性化するかを包括的に決定する。
• バイナリーゲートの微分可能訓練を可能にするためにImproved SemHashが適用され、メインネットワークとゲートネットワークの両方を同時に逆伝播可能にしている。
• フィルタ選択は選択的に適用される。例えば、ResNetの各残差ブロックの最後の畳み込み層や、Inception-v4における結合後の層に適用する。
• メインネットワークとゲートネットワークは別々に事前学習された後、わずかな調整を加えた標準的な学習スキームを用いて共同微調整される。
• 組み合わせ的フィルタ選択が可能であり、入力ごとに多数の動的サブブランチ構成を実現できる。

実験結果

リサーチクエスチョン

• RQ1 グローバルなゲートネットワークは、CNNの汎化性能を向上させるために、効果的で入力依存のフィルタ選択戦略を学習できるか？
• RQ2 学習可能なバイナリーゲーティング機構による動的フィルタ選択は、ImageNetおよびCIFAR-10において固定アーキテクチャーよりも優れた性能をもたらすか？
• RQ3 精度とパrameter効率の観点から、GaterNetは最先端のモデルと比較してどのように差をつけるか？
• RQ4 ゲートネットワークは、入力コンテンツに基づいて直感的で解釈可能なゲーティングパターンを学習できるか？
• RQ5 バイナリーゲートの使用にもかかわらず、本手法は訓練の安定性と収束性を維持できるか？

主な発見

• CIFAR-10では、GaterNetがトップ-1誤差率4.51%を達成し、元のResNet-18や最先端のモデルを上回る性能を示したが、パrameterはわずか1.2%増加にとどまった。
• ResNet-101-Gatedは、ImageNetのトップ-1誤差を23.36%から21.51%に低下させ、1.85ポイントの改善を達成した。これは、ResNet-152より少ない層数でも実現された。
• ResNet-152-Gatedはトップ-1誤差21.19%を達成し、元のResNet-152（22.34%）およびResNet-152-SE（21.57%）を上回り、顕著な性能向上を示した。
• Inception-v4-Gatedは、トップ-1誤差を20.33%から19.64%、トップ-5誤差を4.99%から4.80%に低下させ、複数のアーキテクチャで一貫した向上を示した。
• ゲートネットワークは、入力の意味のある特徴に基づいてフィルタを選択するという分析により、効果的なゲーティング戦略を学習していることが裏付けられた。
• 本手法はアーキテクチャに依存せず、ResNet、DenseNet、Shake-Shake、Inception-v4の全アーキテクチャで改善が観察された。これは、広範な適用可能性を示している。