[論文レビュー] Deep Pyramidal Residual Networks with Separated Stochastic Depth

Yoshihiro Yamada, Masakazu Iwamura+1 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Neural Network Applications参考文献 7被引用数 20

ひとこと要約

この論文では、一般化性能を向上させるとともに誤差率を低減するために、PyramidNetに分離された確率的深さを統合した深層ピラミダル残差ネットワーク、PyramidSepDropを提案する。残差関数をチャネル増加成分とアイデンティティ保持成分に分離し、それぞれを独立した確率的深さに適用することで、CIFAR-100で16.18%の誤差率を達成。これはPyramidNet（18.29%）およびResNeXt（17.31%）を上回り、訓練の安定性と正則化の向上により優れた性能を示している。

ABSTRACT

On general object recognition, Deep Convolutional Neural Networks (DCNNs) achieve high accuracy. In particular, ResNet and its improvements have broken the lowest error rate records. In this paper, we propose a method to successfully combine two ResNet improvements, ResDrop and PyramidNet. We confirmed that the proposed network outperformed the conventional methods; on CIFAR-100, the proposed network achieved an error rate of 16.18% in contrast to PiramidNet achieving that of 18.29% and ResNeXt 17.31%.

研究の動機と目的

• 確率的深さとPyramidNetを組み合わせた際の限界を解消すること。
• 構造的正則化を用いて、非常に深いネットワークにおける勾配消失問題を克服すること。
• 新しいアーキテクチャ設計により、深層残差ネットワークにおける一般化性能と訓練の安定性を向上させること。
• PyramidNetとResDropという2つの成功したResNet改善手法を統合することで、CIFAR-100で最先端の性能を達成すること。

提案手法

• 提案手法であるPyramidSepDropは、チャネル拡張用の上位パスと、入力チャネル次元を維持する下位パスを備えた残差ブロックを導入する。
• 確率的深さは両パスに独立して適用され、訓練中に残差ブロックをランダムにドロップしつつ、アイデンティティマッピングを保持する。
• 残差関数は、チャネル増加用（上位パス）とアイデンティティに類似したスキップ接続用（下位パス）の2つの成分に分離され、勾配の流れが改善される。
• 各残差ブロックにおけるチャネル増加を制御するため、深さに依存するスケーリング係数α = 5*(depth−2)/6を用いる。
• 訓練を強化するためにマルチモデル学習が採用され、ミニバッチが複数のモデルに分割され、パラメータが同期される。
• 死滅率やαといったハイパーパrameterは、PyramidNetとResDropに基づいて調整され、深さと正則化のバランスが取られる。

実験結果

リサーチクエスチョン

• RQ1 確率的深さをPyramidNetと効果的に組み合わせることで、一般化性能を向上させ、誤差率を低減できるか？
• RQ2 チャネル拡張とアイデンティティマッピングのための別々のパスに残差関数を分離することで、訓練の安定性と性能が向上するか？
• RQ3 初期の確率的深さとPyramidNetの組み合わせ（PyramidDrop）が精度向上に失敗した理由は何か。また、その問題はどのように是正できるか？
• RQ4 マルチモデル学習は、標準的な訓練と比較して、PyramidSepDropの性能にどのような影響を与えるか？
• RQ5 CIFAR-100で最小の誤差率を達成するための最適な深さとモデル数は何か？

主な発見

• PyramidSepDropはCIFAR-100で16.18%の誤差率を達成し、PyramidNet（18.29%）およびResNeXt（17.31%）を大きく上回った。
• 初期の確率的深さとPyramidNetの組み合わせ（PyramidDrop）は精度向上に失敗し、誤差率はPyramidNet（18.30% vs. 18.29%）よりもわずかに悪化した。
• モデル数を4に増加させた場合、層数を110から182に増やすと、CIFAR-100の誤差率は17.53%から16.33%に低下した。
• マルチモデル学習で16のモデルを使用した場合、CIFAR-100の誤差率は16.18%まで低下し、PyramidNetよりもPyramidSepDropの分散学習への恩恵が顕著に現れた。
• 深さを増やすにつれて誤差率が継続的に低下したため、分離された確率的深さを備えたより深いネットワークがより効果的であることが示された。
• 誤差率がモデル数の増加やアーキテクチャの深さに伴い減少する傾向を示したため、訓練ダイナミクスが向上したことが裏付けられた。