[論文レビュー] Relay Backpropagation for Effective Learning of Deep Convolutional Neural Networks

Li Shen, Zhouchen Lin+1 more|arXiv (Cornell University)|Dec 18, 2015

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文では、勾配伝播経路を短縮し、有効な情報の保持を促進することで、深層畳み込みニューラルネットワークの学習を向上させるためのリレイバックプロパゲーションという手法を提案する。これにより、一般化性能が向上し、SOTAの性能を達成しており、特にILSVRC 2015 Scene Classification Challengeで優勝を果たし、ResNet-50を用いたImageNet 2012ではトップ-1誤差を0.91%低減した。

ABSTRACT

Learning deeper convolutional neural networks becomes a tendency in recent years. However, many empirical evidences suggest that performance improvement cannot be gained by simply stacking more layers. In this paper, we consider the issue from an information theoretical perspective, and propose a novel method Relay Backpropagation, that encourages the propagation of effective information through the network in training stage. By virtue of the method, we achieved the first place in ILSVRC 2015 Scene Classification Challenge. Extensive experiments on two challenging large scale datasets demonstrate the effectiveness of our method is not restricted to a specific dataset or network architecture. Our models will be available to the research community later.

研究の動機と目的

• 非常に深いネットワークにおけるバックプロパゲーション中の有効な情報の劣化を是正すること。
• 深層アーキテクチャにおいて、長いパスを介して伝搬される関連性の低い情報の悪影響を軽減すること。
• アーキテクチャの大幅な見直しを伴わずに、深層畳み込みニューラルネットワークの学習安定性と一般化性能を向上させること。
• 本手法の有効性を多様なデータセットおよびネットワークアーキテクチャにわたり示すこと。
• 再トレーニングやハイパーパrameterチューニングをほとんど必要としないスケーラブルで即時適用可能なソリューションを提供すること。

提案手法

• ネットワークを複数のセグメントに分割し、中間的なセグメントの後に1つ以上の補助出力モジュール（損失層を含む）を挿入する。
• 各補助ブランチは、メイン損失と併せて最小化される損失を計算し、短いパスを通じた勾配伝播を可能にする。
• 各損失からの勾配は、その対応するセグメントの最も下流の層までしか伝播せず、伝播深さをN層（全体の深さより小さい）に制限する。
• 実験では、補助損失の重みを0.3として、損失の重み付きアンサンブルを用いる。
• VGGNet、ResNet-50、Inception-v3に適用し、特定の中間層（例：ResNet-50ではconv4_1からconv4_4）にブランチを追加する。
• フレームワークは、長距離バックプロパゲーションに起因するノイズを低減しながら、関連する誤差信号を保持し、最適化効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションにおける勾配伝播経路の短縮は、深層ネットワークにおける情報の流れとモデル性能の向上に寄与するか？
• RQ2 補助損失ブランチの挿入により、長いパスを介した関連性の低い勾配の伝搬に起因する悪影響が軽減されるか？
• RQ3 リレイバックプロパゲーションは、アーキテクチャの再設計なしに、さまざまなネットワークアーキテクチャで性能向上を達成できるか？
• RQ4 本手法は、ImageNet や Places2 のような大規模で困難なデータセットでも有効であるか？
• RQ5 残差接続を備えたアーキテクチャに限らず、本手法は一般化可能であるか？

主な発見

• リレイバックプロパゲーションは、800万枚以上の画像を含む401クラスのデータセットで、ILSVRC 2015 Scene Classification Challengeで優勝を達成した。
• ImageNet 2012では、ResNet-50を用いてトップ-1誤差を0.91%（21.17%から20.26%へ）低下させ、トップ-5誤差も0.44%（5.37%から4.93%へ）低下させた。
• Inception-v3では、標準的なバックプロパゲーションと比較して、トップ-1誤差を0.66%、トップ-5誤差を0.46%低減した。
• ImageNet 2012では、テスト時のトップ-5誤差が4.03%にまで低下し、ILSVRC 2015で報告された最高の単一モデル結果を上回った。
• ResNet-50 や Inception-v3 といった複数のアーキテクチャにおいても、一貫した性能向上が確認され、特定のアーキテクチャに依存しない一般化性能を示した。
• 残差接続を備えたネットワークにおいても、リレイBPがさらなる性能向上をもたらすことが示されたことから、勾配伝播経路の短縮が情報保持を強化することの有効性が裏付けられた。