[論文レビュー] Deep Pyramidal Residual Networks

Dongyoon Han, Jiwhan Kim+1 more|arXiv (Cornell University)|Oct 10, 2016

Advanced Neural Network Applications参考文献 31被引用数 29

ひとこと要約

この論文は、ダウンサンプリングユニットで急激に特徴マップの次元を増やすのではなく、すべての層で段階的に特徴マップの次元を増やすDeep Pyramidal Residual Networks（PyramidNet）を導入する。能力をより均等に分散させるとともに、ゼロパディングされたショートカットを備えた新しい残差ユニットを導入することで、CIFAR-10、CIFAR-100、ImageNetで最先端の汎化性能を達成し、320×320クロップを使用したImageNetではトップ-1誤差率が19.6%にまで低下した。

ABSTRACT

Deep convolutional neural networks (DCNNs) have shown remarkable performance in image classification tasks in recent years. Generally, deep neural network architectures are stacks consisting of a large number of convolutional layers, and they perform downsampling along the spatial dimension via pooling to reduce memory usage. Concurrently, the feature map dimension (i.e., the number of channels) is sharply increased at downsampling locations, which is essential to ensure effective performance because it increases the diversity of high-level attributes. This also applies to residual networks and is very closely related to their performance. In this research, instead of sharply increasing the feature map dimension at units that perform downsampling, we gradually increase the feature map dimension at all units to involve as many locations as possible. This design, which is discussed in depth together with our new insights, has proven to be an effective means of improving generalization ability. Furthermore, we propose a novel residual unit capable of further improving the classification accuracy with our new network architecture. Experiments on benchmark CIFAR-10, CIFAR-100, and ImageNet datasets have shown that our network architecture has superior generalization ability compared to the original residual networks. Code is available at https://github.com/jhkim89/PyramidNet}

研究の動機と目的

• 残差ネットワークにおけるダウンサンプリングユニットに集中する能力が、汎化性能を制限し、ユニットの削除に対して感受性を示す問題に対処すること。
• ダウンサンプリングブロックに特徴マップ次元の増加を集中させず、すべての層に分散させることで、汎化性能を向上させること。
• ゼロパディングされたアイデンティティショートカットを備えた新しい残差ユニットを開発し、深層ネットワークにおける性能を向上させること。
• CIFARおよびImageNetベンチマークにおける広範な実験を通じて、ピラミダルアーキテクチャの有効性を検証すること。

提案手法

• 入力から出力へとピラミッド型の構造を形成するように、すべての層でチャンネル数を段階的に増加させる深層ピラミダル残差ネットワーク（PyramidNet）を提案する。
• 特徴マップ次元のスムーズな増加を可能にしつつ、残差学習を実現するゼロパディングされたアイデンティティショートカットを備えた新しい残差ユニットを導入する。
• 線形的 vs. 乗法的特徴マップスケーリングの影響を比較するために、加法的および乗法的変種のPyramidNetを用いる。
• 最終層にはバッチ正規化、ReLU、およびグローバル平均プーリングを適用し、ImageNet学習には標準的なデータオーグメンテーションを採用する。
• 確率的勾配降下法を用いて学習を行い、コサイン減衰と学習率スケジューリングを適用し、標準ベンチマーク上でトップ-1誤差率を評価する。
• 主な比較においてドロップアウトやスティル・デプスを適用しないことで、最先端モデルとの公平な評価を確保する。

実験結果

リサーチクエスチョン

• RQ1 すべての層で段階的に特徴マップ次元を増加させることで、深層残差ネットワークの汎化性能が向上するか？
• RQ2 ネットワーク全体にわたって能力をより均等に分散させることで、個々の残差ユニットの削除に対する感受性が低下するか？
• RQ3 ゼロパディングされたショートカットを備えた新しい残差ユニットは、標準の残差ユニットを上回る性能を実現できるか？
• RQ4 モデル容量と精度の観点から、従来の乗法的スケーリングと比較して、ピラミダルアーキテクチャはどのように異なるか？

主な発見

• α=300のPyramidNetは、同程度のパラメータ数を持つ事前活性化ResNet-200を上回り、ImageNet-1kでトップ-1誤差率20.5%を達成した。
• 320×320クロップを使用した場合、PyramidNetはトップ-1誤差を19.6%まで低下させ、事前活性化ResNetおよびInception-ResNet-v2を上回った。
• 特徴マップを線形に増加させる加法的PyramidNet変種は、モデル容量が増加する際、乗法的変種を上回った。これは、入力側の容量がより有益であることを示唆している。
• ダウンサンプリングユニットを削除しても性能が維持されるため、残差ネットワークのアンサンブル解釈が裏付けられた。
• より少ないパラメータ数でCIFAR-10およびCIFAR-100で最先端の性能を達成し、優れた汎化性能を示した。
• ピラミダル設計のインサイトは一般化可能であり、他の深層ネットワークアーキテクチャの改善にも応用可能である。