[論文レビュー] Study of Residual Networks for Image Recognition

Mohammad Sadegh Ebrahimi, Hossein Karkeh Abadi|arXiv (Cornell University)|Apr 21, 2018

Advanced Neural Network Applications被引用数 12

ひとこと要約

本研究では、Tiny ImageNetデータセットにおける画像分類タスクに対して残差ネットワーク（ResNets）の性能を評価し、勾配消失を緩和するスキップ接続のおかげで、同等のプレーン畳み込みニューラルネットワーク（ConvNets）に比べ、顕著に高い精度と高速な学習が達成されることを示した。しかし、モデルは過学習が顕著に増加しており、ドロップアウトと確率的データオーグメンテーションによってこれを緩和した。最良のResNetでは49%の検証精度を達成したのに対し、より深いプレーンConvNetでは36%にとどまった。

ABSTRACT

Deep neural networks demonstrate to have a high performance on image classification tasks while being more difficult to train. Due to the complexity and vanishing gradient problem, it normally takes a lot of time and more computational power to train deeper neural networks. Deep residual networks (ResNets) can make the training process faster and attain more accuracy compared to their equivalent neural networks. ResNets achieve this improvement by adding a simple skip connection parallel to the layers of convolutional neural networks. In this project we first design a ResNet model that can perform the image classification task on the Tiny ImageNet dataset with a high accuracy, then we compare the performance of this ResNet model with its equivalent Convolutional Network (ConvNet). Our findings illustrate that ResNets are more prone to overfitting despite their higher accuracy. Several methods to prevent overfitting such as adding dropout layers and stochastic augmentation of the training dataset has been studied in this work.

研究の動機と目的

• Tiny ImageNetデータセットにおける残差ネットワーク（ResNets）とプレーン畳み込みニューラルネットワーク（ConvNets）の性能を評価すること。
• 高精度を示すにもかかわらず、ResNetsにおける過学習の原因とその程度を調査すること。
• ドロップアウトや確率的データオーグメンテーションなどの正則化技術が、ResNetsにおける過学習をどれほど効果的に軽減できるかを評価すること。
• ResNetsと同等のConvNetとの間で、損失関数と精度の変化のトレース（トレーニングダイナミクス）を比較すること。
• 限られたデータを用いた小規模な画像分類タスクにおいて、ResNetsの最適なアーキテクチャ設定を特定すること。

提案手法

• Heら（2016）が提唱した残差ブロック構造に基づいたResNetアーキテクチャを設計し、入力を残差ブロックの出力に直接加算するスキップ接続を導入した。
• 12～21層の複数のResNetバリアントを設計し、フィルターサイズやプーリング戦略を変更し、64×64のTiny ImageNetデータセット上で学習を行った。
• 性能比較のベースラインとして、同じ深さと幅を持つ同等のプレーンConvNetモデルを構築した。
• 一般化性能の向上を目的に、学習中にランダムにクロップし、画像を反転する確率的データオーグメンテーションを適用した。
• 過学習の軽減を目的に、最終全結合層にドロップアウト層を統合し、ドロップアウト確率p = 0.7を設定した。
• すべてのモデルを同じエポック数にわたり、GPUアクセラレーションを用いたTorchディープラーニングフレームワークで学習した。

実験結果

リサーチクエスチョン

• RQ1 Tiny ImageNetデータセットにおいて、ResNetsは同等のプレーンConvNetsと比べて、精度と学習速度の面でどの程度優れているか？
• RQ2 ResNetsはプレーンConvNetsと比べてどの程度過学習を示すのか、またその要因は何か？
• RQ3 ドロップアウトと確率的データオーグメンテーションは、ResNetモデルにおける過学習をどれほど効果的に軽減できるか？
• RQ4 浅いネットワークではResNetsの性能が劣化するのか、その理由は何か？
• RQ5 小規模なデータセットにおいて、精度と一般化性能のバランスを最適化するためのResNetsのアーキテクチャ的選択肢は何か？

主な発見

• 最良のResNet（Net 1）は49%の検証精度と72%の学習精度を達成し、同等のプレーンConvNet（Net 6）の36%の検証精度と43%の学習精度を大きく上回った。
• ResNetsは同等のConvNetsに比べて最大13%高速に学習が進み、トレーニング中の損失関数と精度曲線の収束も速やかに観察された。
• 最良のResNetでは、学習精度と検証精度の差が23%に達し、顕著な過学習が確認された。一方、プレーンConvNetではこの差は7%にとどまった。
• ドロップアウトと確率的データオーグメンテーションを適用した後、最良のResNetの過学習ギャップは30%から23%に縮小され、過学習が部分的に軽減された。
• パrameter数が少ない浅めのResNet（Net 3）では、過学習ギャップが16%にまで低下したが、最良のResNetと比べて検証精度が3%低下した。
• 非常に浅いネットワーク（7層および9層）では、ResNetsはプレーンConvNetsに劣り、深さが不足している場合、残差接続が性能を損なう可能性があることが示された。