[論文レビュー] Dynamic Capacity Networks

Amjad Almahairi, Nicolas Ballas+4 more|arXiv (Cornell University)|Nov 24, 2015

Advanced Neural Network Applications参考文献 27被引用数 8

ひとこと要約

この論文では、勾配に基づくハードアテンション機構を用いて、タスクに関連する入力領域に動的に高容量の計算を割り当てるニューラルネットワーク、ダイナミックキャパシティネットワーク（DCN）を紹介する。グローバルな推論に低容量のサブネットワークを、関心領域にのみ高容量のサブネットワークを適用することで、Cluttered MNISTおよびSVHNで最先端の性能を達成しながら、計算コストを最大80％まで削減した。これは、数字の位置に関する事前知識がなくても可能である。

ABSTRACT

We introduce the Dynamic Capacity Network (DCN), a neural network that can adaptively assign its capacity across different portions of the input data. This is achieved by combining modules of two types: low-capacity sub-networks and high-capacity sub-networks. The low-capacity sub-networks are applied across most of the input, but also provide a guide to select a few portions of the input on which to apply the high-capacity sub-networks. The selection is made using a novel gradient-based attention mechanism, that efficiently identifies input regions for which the DCN's output is most sensitive and to which we should devote more capacity. We focus our empirical evaluation on the Cluttered MNIST and SVHN image datasets. Our findings indicate that DCNs are able to drastically reduce the number of computations, compared to traditional convolutional neural networks, while maintaining similar or even better performance.

研究の動機と目的

• 深層ネットワークにおける均一な計算の非効率性に起因する、情報分布が不均一な入力領域に対しても同じ計算容量が割り当てられる問題に対処する。
• 関心のある入力領域にのみ高容量サブネットワークを動的に割り当てる条件付き計算機構を開発し、推論コストを低減する。
• 訓練データが標準化されているがテストデータがノイズやごみで汚染されているような状況（例：SVHN）において、効果的な転移学習を可能にする。
• 強化学習やポリシーネットワークを用いずに、バックプロパゲーションによるエンドツーエンドの訓練でアテンション機構を学習可能にする。

提案手法

• DCNアーキテクチャは、グローバルに適用される低容量の粗いネットワークと、選択された領域にのみ適用される高容量の細かいネットワークの2種類のサブネットワークを組み合わせる。
• 粗いネットワークは特徴マップを生成し、それらが新たな勾配に基づくハードアテンション機構を介して、ネットワーク出力に対して感受度が高いと予想される入力パッチを特定する。
• アテンション機構は勾配の大きさに基づいて特定の空間的パッチを選択し、高容量の細かいネットワークをその領域にのみ適用可能にする。
• モデルはバックプロパゲーションを用いてエンドツーエンドで訓練され、強化学習やハードアテンションの微分可能近似の必要がなくなる。
• 粗いネットワークと細かいネットワークは独立して訓練され、アテンション機構は推論時のみに適用可能であり、効率的な転移学習が可能になる。
• アテンション学習の安定化のため、訓練中に交差エントロピー損失とアテンションヒントの凸結合を用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、性能を落とさずに計算コストを削減するため、情報量の多い入力領域にのみ計算容量を動的に割り当てることができるか？
• RQ2 強化学習を用いずに、エンドツーエンドで訓練可能な勾配に基づくハードアテンション機構は、効率的かつ微分可能に領域選択を可能にするか？
• RQ3 訓練データはクリアだがテストデータがノイズやごみで汚染されているような転移学習設定（例：SVHN）において、DCNはどの程度の性能を示すか？
• RQ4 大規模な入力画像において、標準的な畳み込みネットワークと比較して、DCNは推論時間およびFLOPsをどの程度削減できるか？

主な発見

• Cluttered MNISTベンチマークでは、DCNは11.6％のテスト誤差率を達成し、先行研究のSOTAモデルを上回った。
• 最大のSVHNテスト画像では、DCNの推論時間が10.8msにまで短縮された。これは、全量の細かいモデルが62.6msを要するのと比較して、52msの高速化を達成したことを意味する。
• DCNは3つのスケールで3つのパッチを用いて16.6％の誤差率を達成したが、全量の細かいモデルは18.2％であった。これは、DCNの選択的計算がより効率的であることを示している。
• 標準的な畳み込みネットワークと比較して、DCNは計算コストを最大80％まで削減したが、性能の低下は最小限に抑えられた。
• DCNは、数字の位置に関する事前知識なしに、生のノイズ混じりの画像から複数桁の数字列を直接認識でき、転移学習におけるロバスト性を示した。
• 粗いモデル単体では18.2％の誤差率であったが、DCNは必要な箇所にのみ高容量計算を適用することで、11.6％まで改善された。