[論文レビュー] Improved Residual Networks for Image and Video Recognition

Ionuţ Cosmin Duţă, Li Liu+2 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 34被引用数 25

ひとこと要約

本論文では、段階別に構築されたブロック、パラメータフリーの3×3マックスプーリング投影ショートカット、および空間的・チャネル的側面に焦点を当てた残差ブロックを備えた、情報伝達を向上させる改善型残差ネットワークアーキテクチャResMaxを提案する。ImageNet、CIFAR-10、CIFAR-100の各ベンチマークで最先端の精度を達成し、モデルの複雑さを増さずに404層および3002層のネットワークをトレーニングしている。これは、これまでに到達したことがないほど深い収束したCNNよりも深いものである。

ABSTRACT

Residual networks (ResNets) represent a powerful type of convolutional neural network (CNN) architecture, widely adopted and used in various tasks. In this work we propose an improved version of ResNets. Our proposed improvements address all three main components of a ResNet: the flow of information through the network layers, the residual building block, and the projection shortcut. We are able to show consistent improvements in accuracy and learning convergence over the baseline. For instance, on ImageNet dataset, using the ResNet with 50 layers, for top-1 accuracy we can report a 1.19% improvement over the baseline in one setting and around 2% boost in another. Importantly, these improvements are obtained without increasing the model complexity. Our proposed approach allows us to train extremely deep networks, while the baseline shows severe optimization issues. We report results on three tasks over six datasets: image classification (ImageNet, CIFAR-10 and CIFAR-100), object detection (COCO) and video action recognition (Kinetics-400 and Something-Something-v2). In the deep learning era, we establish a new milestone for the depth of a CNN. We successfully train a 404-layer deep CNN on the ImageNet dataset and a 3002-layer network on CIFAR-10 and CIFAR-100, while the baseline is not able to converge at such extreme depths. Code is available at: https://github.com/iduta/iresnet

研究の動機と目的

• 残差学習の利点にもかかわらず、極めて深い残差ネットワークのトレーニングにおける持続的な最適化の難しさに対処すること。
• 非常に深いネットワークにおける情報伝達の制限と信号の劣化を克服すること。
• 空間特徴学習を強化しつつ計算効率を維持するように、残差ブロックの設計を改善すること。
• パラメータを追加せずに情報損失を低減し、性能を向上させるより効果的な投影ショートカットを開発すること。
• 標準的なビジョンベンチマークで、前例のない深さ（例：3002層）のネットワークのトレーニングを可能にすること。

提案手法

• 各段階で特化された残差ブロックを用いる段階別ネットワークアーキテクチャを導入し、情報伝達と学習効率を向上させる。
• 主な畳み込みの空間的カーネルサイズと一致する3×3マックスプーリングに基づく投影ショートカットを提案し、平均プーリングに代わり、空間的整合性を保証する。
• 空間チャネル容量を4倍に増加させた新しい残差ブロックを設計し、空間パターン学習を強化するが、パラメータ数とFLOPsは元のResNetブロックと同等に抑える。
• 画像分類、オブジェクト検出、動画アクション認識を含む、複数のデータセットとタスクにわたって改善されたアーキテクチャを適用する。
• 学習率の減少とバッチ正規化を用いた統一されたトレーニングプロトコルを採用し、公平な比較のため、ResNetと同一の深さスケーリングを維持する。
• 従来の研究とは異なり、最初の段階に投影ショートカットを統合することで、ネットワークの出発点から一貫した信号伝達を保証する。

実験結果

リサーチクエスチョン

• RQ1 残差ブロックとショートカットの設計を再考することで、非常に深い残差ネットワークにおける情報伝達を改善できるか？
• RQ2 3×3マックスプーリングに基づく投影ショートカットは、平均プーリングや2×2カーネルに比べ、情報損失を低減し、精度を向上させることができるか？
• RQ3 残差ブロック内の空間的チャネル容量を増加させることで、モデルの複雑さを増さずに特徴表現を強化できるか？
• RQ4 極めて深いネットワーク（例：3002層）を最適化の失敗なしにどの程度トレーニング可能にできるか、またどのようなアーキテクチャ的変更がこれを可能にするか？
• RQ5 提案されたアーキテクチャは、画像分類、オブジェクト検出、動画認識を含む多様なビジョンタスクとデータセットに一般化可能か？

主な発見

• 50層のネットワークを用いたImageNetでは、ベースラインのResNetに比べてトップ-1精度が1.19%向上し、別の設定では2%の向上を達成した。
• 提案された3×3マックスプーリングに基づく投影ショートカットは、ImageNet（50層）におけるトップ-1誤差を22.85%まで低減し、ベースラインのResNet（23.88%）および[8]の手法（23.26%）を上回った。
• 著者らは、ImageNetで404層のCNNを、CIFAR-10およびCIFAR-100で3002層のネットワークを成功裏にトレーニングした。これは、これまでに収束したことがないほど深いネットワークである。
• 改善された残差ブロックは、パラメータ数とFLOPsを元のResNetブロックと同等に保ちながら、空間特徴学習能力を4倍に向上させた。
• この手法はタスクに一般化可能である：画像分類（ImageNet、CIFAR-10/100）、オブジェクト検出（COCO）、動画アクション認識（Kinetics-400、Something-Something-v2）の各タスクで優れた性能を達成した。
• 極めて深い深さにおいても安定したトレーニングと収束を維持しており、非常に深いネットワークにおける最適化の問題は、アーキテクチャの再設計によって緩和可能であることを示した。