[論文レビュー] A concatenating framework of shortcut convolutional neural networks

Yujian Li, Ting Zhang+2 more|arXiv (Cornell University)|Oct 3, 2017

Advanced Neural Network Applications参考文献 32被引用数 8

ひとこと要約

本論文は、短絡接続を介して複数スケールの特徴を完全結合層に直接統合する、ショートカット畳み込みニューラルネットワークの連結フレームワークを提案する。この手法により、CIFAR-10、MNIST、CelebA などのベンチマークデータセットにおいて、多様なコンピュータビジョンタスクで顕著な性能向上が達成される。さまざまなハイパーパrameter設定下でも、従来のCNNを上回る優れた精度と安定性を達成する。

ABSTRACT

It is well accepted that convolutional neural networks play an important role in learning excellent features for image classification and recognition. However, in tradition they only allow adjacent layers connected, limiting integration of multi-scale information. To further improve their performance, we present a concatenating framework of shortcut convolutional neural networks. This framework can concatenate multi-scale features by shortcut connections to the fully-connected layer that is directly fed to the output layer. We do a large number of experiments to investigate performance of the shortcut convolutional neural networks on many benchmark visual datasets for different tasks. The datasets include AR, FERET, FaceScrub, CelebA for gender classification, CUReT for texture classification, MNIST for digit recognition, and CIFAR-10 for object recognition. Experimental results show that the shortcut convolutional neural networks can achieve better results than the traditional ones on these tasks, with more stability in different settings of pooling schemes, activation functions, optimizations, initializations, kernel numbers and kernel sizes.

研究の動機と目的

• 従来のCNNが隣接層間の接続しか許さないという制限を克服し、効果的な複数スケール特徴統合を制限する要因を解消すること。
• ショートカット接続を通じた直接的な複数スケール特徴の連結を可能にすることで、畳み込みニューラルネットワークにおける特徴表現を向上させること。
• 多様なデータセットおよび異なるハイパーパrameter設定下でも、画像分類タスクの性能とロバスト性を向上させること。
• 標準のCNNアーキテクチャを一貫して上回る安定的かつ効果的なディープラーニングフレームワークを提供すること。

提案手法

• フレームワークは、異なる畳み込み層からの複数スケール特徴を完全結合層に直接連結するショートカット接続を導入する。
• 複数の段階におけるネットワークから特徴を抽出し、最終分類層の直前に連結する。
• 残差型ショートカット接続を用いたエンドツーエンド学習を可能にし、勾配の流れと特徴の再利用を促進する。
• 性能の低下を伴わずに、さまざまな活性化関数、プーリング方式、カーネル設定の統合を柔軟にサポートする。
• 連結メカニズムは、空間的および意味的情報をスケール間で保持する最終的特徴統合段階に適用される。
• 適応的学習率と重み初期化を用いた標準的な最適化手法で訓練される。

実験結果

リサーチクエスチョン

• RQ1 ショートカット接続を介した複数スケール特徴の直接連結が、深層CNNにおける分類精度を向上させることができるか？
• RQ2 本フレームワークは、画像特性やタスクタイプが異なる多様なデータセットでどのように性能を発揮するか？
• RQ3 プーリング方式、活性化関数、カーネル設定などの異なるハイパーパrameter設定下でも、フレームワークは一貫した性能を維持するか？
• RQ4 特徴表現および収束性の観点から、連結ショートカット機構は標準の残差接続と比べてどのように異なるか？
• RQ5 複数スケール特徴統合が、さまざまなビジョンタスクにおけるモデルの安定性と一般化性能に与える影響は何か？

主な発見

• 提案フレームワークはCIFAR-10データセットで最先端の性能を達成し、標準のResNetや他のベースラインモデルを上回る。
• MNISTデータセットでは、従来のCNNよりも高い精度を達成し、一般化性能とロバスト性の向上を示している。
• CelebAにおける性別分類では、さまざまな学習設定や初期化手法下でも一貫した性能向上が観察された。
• プーリングタイプや活性化関数の異なる設定下でも、モデルはより高い安定性を示している。
• アブレーションスタディの結果、ショートカットを介した複数スケール特徴の連結が、特徴表現と分類精度を顕著に向上させることを確認した。
• カーネルサイズや数を削減しても、高い性能を維持していることから、効率的な特徴利用が可能であることが示された。