[論文レビュー] Technical Report: Combining knowledge from Transfer Learning during training and Wide Resnets

Wolfgang Fuhl|arXiv (Cornell University)|Jun 20, 2022

Neural Networks and Applications被引用数 31

ひとこと要約

この論文は Wide ResNet アーキテクチャと転移学習に触発された深さ情報を組み合わせて CNN の性能を向上させ、最終層へ深さ方向のプーリング接続とより深い残差段を導入します。

ABSTRACT

In this report, we combine the idea of Wide ResNets and transfer learning to optimize the architecture of deep neural networks. The first improvement of the architecture is the use of all layers as information source for the last layer. This idea comes from transfer learning, which uses networks pre-trained on other data and extracts different levels of the network as input for the new task. The second improvement is the use of deeper layers instead of deeper sequences of blocks. This idea comes from Wide ResNets. Using both optimizations, both high data augmentation and standard data augmentation can produce better results for different models. Link: https://github.com/wolfgangfuhl/PublicationStuff/tree/master/TechnicalReport1/Supp

研究の動機と目的

• CNN の一般化性能を、最終分類器へのすべての層からの情報を活用することで改善することを動機づける。
• Wide ResNets のより深いブロックを採用して情報を保持し、特徴伝播を改善できるようにする。
• 深さ方向のプーリングと段あたりの深さを増やすことで、標準ベンチマークでの精度を向上させるアーキテクチャを提案する。

提案手法

• 各残差ブロックの前に深さ方向の平均プーリングを追加し、空間縮小を行って最終層へ追加の情報源を提供する。
• 各段をより深くする一方でブロック数を減らす（ResNet32 の深度を二倍化）ように残差ブロックを再設計し、前方伝播のために深さ方向のプーリングを統合する。
• ImageNet スタイルの入力に似た初期畳み込みを組み込み、標準の ResNet32、深度倍化バリアント、および新アーキテクチャ（NewNet）を提案情報経路の有無で比較する。
• Shift+Flip の拡張を用い、32x32 入力の CIFAR-100 を標準の SGD（モーメント付き）と 400 エポックでモデルごとに評価する。
• 拡張の影響を評価するため、Wide ResNet 28x10 with FastAutoAugment と提案手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 すべての層からの情報を最終分類器へ提供することで一般化性能が改善されるか？
• RQ2 段あたりの深さを増やす（Wide ResNet 風）ことが、提案情報経路と組み合わせてより良い性能をもたらすか？
• RQ3 提案の深さ方向のプーリング情報経路が、アーキテクチャ別に CIFAR-100 の精度へ与える影響は？

主な発見

Model	Augmentation	Cifar 100 精度
ResNet32	Shift + Flip	76.7
ResNet32 + Proposed	Shift + Flip	77.6
ResNet32 (Double depth)	Shift + Flip	76.9
ResNet32 (Double depth) + Proposed	Shift + Flip	78.11
NewNet (図2 )	Shift + Flip	78.94
NewNet (図2 , double depth)	Shift + Flip	79.67
WideResNet 28x10	FastAutoAugment	82.01
WideResNet 28x10 + Proposed	FastAutoAugment	83.52

• 提案情報経路を用いた ResNet32 は CIFAR-100 の Shift+Flip で 76.7 から 77.6 へ精度を改善。
• 提案経路を持つ二重深度の ResNet32 は 78.11 へ改善。
• NewNet (図2) は 提案経路を用いて 79.67 に到達し、非 Wide モデル中で表のトップとなる。
• WideResNet 28x10 は FastAutoAugment で 82.01 に達し、提案経路を用いると 83.52。
• 深い段と提案情報源の組み合わせは、検証した構成の中で最良の結果をもたらす。
• 報告は、より広いデータ拡張（FastAutoAugment）と提案手法の両方が、異なるモデルで効果があることを指摘している。