[論文レビュー] Gradually Updated Neural Networks for Large-Scale Image Recognition

Siyuan Qiao, Zhishuai Zhang+3 more|arXiv (Cornell University)|Nov 25, 2017

Advanced Neural Network Applications参考文献 39被引用数 3

ひとこと要約

本稿では、畳み込み層におけるチャネル単位の計算順序を導入することで、追加のパラメータを増やすことなく、ネットワークの深さを段階的に向上させる新しい手法であるGradually Updated Neural Networks (GUNN) を提案する。GUNN は損失の地形における重複特異点を排除し、トレーニングの収束性と性能を向上させ、パラメータ数の増加を最小限に抑えつつ、CIFAR-10、CIFAR-100、ImageNet で最先端の精度を達成する。

ABSTRACT

Depth is one of the keys that make neural networks succeed in the task of large-scale image recognition. The state-of-the-art network architectures usually increase the depths by cascading convolutional layers or building blocks. In this paper, we present an alternative method to increase the depth. Our method is by introducing computation orderings to the channels within convolutional layers or blocks, based on which we gradually compute the outputs in a channel-wise manner. The added orderings not only increase the depths and the learning capacities of the networks without any additional computation costs, but also eliminate the overlap singularities so that the networks are able to converge faster and perform better. Experiments show that the networks based on our method achieve the state-of-the-art performances on CIFAR and ImageNet datasets.

研究の動機と目的

• パラメータ数や計算コストを増加させることなく、有効な深さを向上させる新しいメカニズムを導入することで、非常に深いネットワークのトレーニングの課題に取り組む。
• 標準的な深層ネットワークでトレーニングを妨げたり性能を低下させたりする損失地形における重複特異点を排除する。
• 特徴計算の構造的再順序化を通じて、深層畳み込みニューラルネットワークの一般化性能と収束速度を向上させる。
• 既存のアーキテクチャに最小限のプラグイン型の変更を加えることで、標準的な画像認識ベンチマークで最先端の性能を達成する。

提案手法

• GUNN は畳み込み層におけるチャネル間で逐次的な計算順序を導入し、各出力チャネルが直前のチャネルの計算後に計算されるようにすることで、有効な深さを向上させる。
• この手法は元のネットワークと同一のパラメータ数と FLOPs を維持するため、計算効率が非常に高い。
• 逐次処理によるニューロン間の対称性の破壊により、GUNN は内部ニューロンの崩壊を防ぎ、損失地形における重複特異点を排除する。
• 残差学習と互換性があり、ResNet や DenseNet などの任意の残差ネットワークアーキテクチャに適用可能である。
• 計算順序は各ブロック内のチャネルレベルで適用され、ネットワーク全体にわたり段階的な特徴の精錬を可能にする。
• 標準的なアーキテクチャ（例：ResNet や DenseNet）に適用され、チャネル計算の順序を再編することで GUNN 変種に変換される。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数や FLOPs を増加させることなく、ネットワークがより高い有効な深さと向上した性能を達成できるか？
• RQ2 チャネル間で逐次的な計算順序を導入することで、深層ネットワークの損失地形における重複特異点が排除されるか？
• RQ3 GUNN は、CIFAR や ImageNet のような標準的な画像認識ベンチマークで、トレーニングの収束性と一般化性能を向上させられるか？
• RQ4 精度とトレーニングダイナミクスの観点から、ResNet や DenseNet、ResNeXt といった最先端アーキテクチャと比較して、GUNN はどのように差をつけるか？

主な発見

• GUNN-18 は ImageNet でトップ-1誤差 21.65% を達成し、パラメータ数が類似する ResNet-18（24.0%）や ResNeXt-18（22.2%）を上回った。
• CIFAR-10 では、GUNN-15 が残差学習を用いて誤差を 4.15% まで低下させ、ベースラインの SUNN-15（5.64%）を上回った。
• アブレーションスタディの結果、SUNN と比較して、GUNN と残差学習を組み合わせることで、CIFAR-10 で誤差が 1.49% 減少し、CIFAR-100 で 7.06% 減少した。
• GUNN-24 は CIFAR-10 でトップ-1誤差 3.21% を達成し、SUNN-24（3.88%）を顕著に上回り、収束速度も速かった。
• トレーニングダイナミクスの観察から、GUNN ネットワークはより速く収束し、崩壊したニューロンによる性能劣化を回避した。
• GUNN は 2890万パラメータで ImageNet で最先端の性能を達成し、DenseNet-264 や ResNeXt-101 よりも複雑なモデルと同等またはそれを上回った。