[論文レビュー] Training Deeper Convolutional Networks with Deep Supervision

Liwei Wang, Chen‐Yu Lee+2 more|arXiv (Cornell University)|May 11, 2015

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 167

ひとこと要約

本稿では、勾配に基づくヒューリスティックを用いて勾配消失を軽減するように、中間層に補助分類器を追加することで、より深い畳み込みニューラルネットワークの学習を改善する「デプス・スーパービジョン」を提案する。この手法により、反復的プリトレーニングを用いないまま、ImageNet や MIT Places でより速く、より高い精度で学習が可能となり、8〜13層の深層モデルで最先端の結果を達成した。

ABSTRACT

One of the most promising ways of improving the performance of deep convolutional neural networks is by increasing the number of convolutional layers. However, adding layers makes training more difficult and computationally expensive. In order to train deeper networks, we propose to add auxiliary supervision branches after certain intermediate layers during training. We formulate a simple rule of thumb to determine where these branches should be added. The resulting deeply supervised structure makes the training much easier and also produces better classification results on ImageNet and the recently released, larger MIT Places dataset

研究の動機と目的

• 非常に深い畳み込みニューラルネットワークの学習における勾配消失と収束の遅さという課題に対処すること。
• 補助監視ブランチをより深いネットワークに配置するための体系的かつデータ駆動の手法を開発すること。
• 浅いネットワークのコストの高い反復的プリトレーニングに依存せずに、学習効率と分類精度を向上させること。
• ImageNet や MIT Places といった大規模データセットにおけるデプス・スーパービジョンの有効性を示すこと。

提案手法

• 初期学習段階で勾配が消失する層を特定するために、勾配に基づくヒューリスティックが用いられ、補助監視が最も必要な場所を特定する。
• 識別器（畳み込み層、全結合層、ソフトマックス層を備えた小さなCNN）を特定された中間層の後に追加し、追加の監視を提供する。
• 最終分類損失と中間の補助損失の重み付き和を最小化する。補助損失の重みは時間経過とともに減少させ、主タスクを優先する。
• ノイズの多い初期特徴マップを効果的に処理するため、次元削減と非線形変換を含む補助ブランチが設計される。
• 8層および13層のネットワークにこの手法を適用し、標準初期化と適応的損失重み付けを用いて学習を行う。
• ベースラインモデルおよびプリトレーニング済みベースラインと比較して、ImageNet およびより大きな MIT Places データセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 勾配消失を最も効果的に軽減できるように、補助監視を深層ネットワークのどの層に配置すべきか？
• RQ2 単純な勾配に基づくルール of thumb が、補助分類器の最適な配置場所を信頼性高く特定できるか？
• RQ3 反復的プリトレーニングに基づく手法と比較して、デプス・スーパービジョンはより深いネットワークの学習速度と最終的な精度を向上させるか？
• RQ4 標準的なCNNと比較して、MIT Places のような大規模でシーン中心のデータセットにおいて、デプス・スーパービジョンはどのように性能を発揮するか？

主な発見

• ImageNet では、8層の CNDS モデルがトップ-1誤差 33.8% を達成し、標準の8層モデル（34.7%）を上回り、VGG-8 に近い性能を示した。
• MIT Places データセットでは、CNDS-8 モデルが検証セットでトップ-1精度 54.7%、テストセットで 55.7% を達成し、ベースラインの5層モデル（50.4% および 50.0%）を4%以上上回った。
• CNDS-8 モデルは、Places テストセットでトップ-5精度 85.8% を達成し、ベースラインを4.7ポイント上回った。
• Places データセットでは、プリトレーニングベースラインの学習と比較して、約2日間の学習時間短縮が達成され、反復回数も 190K 回（ベースラインの 300K 回）に減少した。
• CNDS モデルでは、勾配の大きさが素早く安定し、変化が少なく、従来の訓練法と比較して勾配の流れが改善されたことが示された。
• 特徴抽出がより速くなったことから、深さが少ない GoogleNet モデルと同等またはそれ以上の精度を達成した。