[論文レビュー] Batch-Shaped Channel Gated Networks.

Babak Ehteshami Bejnordi, Tijmen Blankevoort+1 more|arXiv (Cornell University)|Jul 15, 2019

Advanced Neural Network Applications参考文献 27被引用数 9

ひとこと要約

本論文では、入力特徴に基づいて個々の畳み込みチャネルを動的にゲーティングする手法として、バッチ形状付きチャネルゲーティングネットワークを提案する。特徴の事後分布を事前分布に合わせるためにバッチシェーピングを適用することで、1サンプルあたりの計算コストをより小さなネットワークと同等の水準に低下させつつ、高い精度を達成した。ResNet50に類似したアーキテクチャを用いてImageNetで74.60%のトップ1精度を達成し、ResNet18の69.76%を上回った。

ABSTRACT

We present a method that trains large capacity neural networks with significantly improved accuracy and lower dynamic computational cost. We achieve this by gating the deep-learning architecture on a fine-grained-level. Individual convolutional maps are turned on/off conditionally on features in the network. To achieve this, we introduce a new residual block architecture that gates convolutional channels in a fine-grained manner. We also introduce a generally applicable tool $batch$-$shaping$ that matches the marginal aggregate posteriors of features in a neural network to a pre-specified prior distribution. We use this novel technique to force gates to be more conditional on the data. We present results on CIFAR-10 and ImageNet datasets for image classification, and Cityscapes for semantic segmentation. Our results show that our method can slim down large architectures conditionally, such that the average computational cost on the data is on par with a smaller architecture, but with higher accuracy. In particular, on ImageNet, our ResNet50 and ResNet34 gated networks obtain 74.60% and 72.55% top-1 accuracy compared to the 69.76% accuracy of the baseline ResNet18 model, for similar complexity. We also show that the resulting networks automatically learn to use more features for difficult examples and fewer features for simple examples.

研究の動機と目的

• 大規模ニューラルネットワークの動的計算コストを、精度を損なわずに低減すること。
• 入力依存の特徴に基づいて、畳み込みチャネルを細かく条件付きでゲーティングすること。
• 特徴の事後分布を事前に指定された事前分布に一致させる一般化可能なツール、バッチシェーピングを開発すること。
• 計算複雑度が類似した小さなベースラインモデルよりも高い精度を達成すること。
• モデルが困難な例に対してはより多くの特徴を、簡単な例に対してはより少ない特徴を自動的に割り当てることを可能にすること。

提案手法

• 個々の畳み込みチャネルの細かい条件付きゲーティングを可能にする、新しいリラクゼーションブロックアーキテクチャを導入する。
• ネットワーク特徴の周辺集約事後分布を事前に指定された事前分布に一致させるために、独創的なバッチシェーピング技術を採用する。
• バッチシェーピング機構を用いて、ゲートの入力特徴に対する条件付き依存性を強化し、ゲートの感度を向上させる。
• 推論時にゲーティング機構を適用することで、各入力に対して関連するチャネルのみを動的に活性化できるようにする。
• 標準的なバックプロパゲーションを用いてネットワークを訓練しつつ、ゲート学習をガイドするためバッチシェーピング正則化を組み込む。
• 条件付きゲーティングを活用して、1サンプルあたりの平均計算コストを、より小さなモデルと同等の水準に低下させる。

実験結果

リサーチクエスチョン

• RQ1 細かく条件づけられた、入力依存のチャネルゲーティングは、大規模ネットワークにおいて精度を向上させるとともに、1サンプルあたりの計算コストを低減できるか？
• RQ2 バッチシェーピングは、ゲートの入力特徴に対する条件付き依存性をどの程度向上させられるか？
• RQ3 ゲーティングネットワークは、困難な例に対してはより多くの特徴を、簡単な例に対してはより少ない特徴を自動的に割り当てられるか？
• RQ4 ゲーティングを施した大規模アーキテクチャは、計算複雑度が類似した小さなベースラインモデルをどの程度上回る精度を達成できるか？
• RQ5 提案手法は、画像分類やセマンティックセグメンテーションといった異なるタスクやデータセットに対しても一般化可能か？

主な発見

• ImageNetでは、ゲーティングを施したResNet50が74.60%のトップ1精度を達成し、計算複雑度が類似したベースラインのResNet18（69.76%）を顕著に上回った。
• ゲーティングを施したResNet34は72.55%のトップ1精度を達成し、この手法がより小さなアーキテクチャに対しても精度向上をもたらすことを示した。
• 条件付きゲーティングのおかげで、1サンプルあたりの平均計算コストが、より小さなネットワークと同等の水準にまで低下した。
• モデルは困難な例に対してはより多くのチャネルを、簡単な例に対してはより少ないチャネルを用いるよう学習しており、適応的計算の実現を示した。
• この手法はタスクを越えて一般化でき、画像分類のCIFAR-10およびセマンティックセグメンテーションのCityscapesの両方で優れた性能を示した。
• バッチシェーピングは、特徴の事後分布を事前分布に一致させることで、ゲートの条件付けを効果的に向上させ、より意味的でデータ依存のゲーティング意思決定を可能にした。