[論文レビュー] RES-SE-NET: Boosting Performance of Resnets by Enhancing Bridge-connections

V Varshaneya, S. Balasubramanian+1 more|arXiv (Cornell University)|Feb 16, 2019

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、残差ブロック間の特徴マップのリサイズを行うスキップ接続（ブリッジ接続）にSqueeze-and-Excitation（SE）ブロックを適用することで性能を向上させる、拡張された残差ネットワークであるRes-SE-Netを提案する。これらの接続における特徴マップを適応的に重み付けすることにより、CIFAR-10とCIFAR-100で最先端の精度を達成し、標準的なResNetおよびSE-ResNetを上回る。CIFAR-100では最大1.94%、CIFAR-10では最大0.87%の向上を達成した。

ABSTRACT

One of the ways to train deep neural networks effectively is to use residual connections. Residual connections can be classified as being either identity connections or bridge-connections with a reshaping convolution. Empirical observations on CIFAR-10 and CIFAR-100 datasets using a baseline Resnet model, with bridge-connections removed, have shown a significant reduction in accuracy. This reduction is due to lack of contribution, in the form of feature maps, by the bridge-connections. Hence bridge-connections are vital for Resnet. However, all feature maps in the bridge-connections are considered to be equally important. In this work, an upgraded architecture "Res-SE-Net" is proposed to further strengthen the contribution from the bridge-connections by quantifying the importance of each feature map and weighting them accordingly using Squeeze-and-Excitation (SE) block. It is demonstrated that Res-SE-Net generalizes much better than Resnet and SE-Resnet on the benchmark CIFAR-10 and CIFAR-100 datasets.

研究の動機と目的

• 残差ネットワークにおけるブリッジ接続の役割を調査すること。これは性能に重要であるが、しばしば一様な特徴マップの通過として扱われている。
• 現在のところ、ブリッジ接続内のすべての特徴マップが等しく重み付けされているという制限に対処すること。これは、重要度に差があるにもかかわらずである。
• ブリッジ接続内の特徴マップの重要度を動的に再キャリブレーションすることで、モデルの汎化性能と精度を向上させること。
• SEブロックをブリッジ接続に統合することで、ベースラインのResNetおよびSE-ResNetに対して一貫した性能向上が得られることを示すこと。
• SEブロックの統合が、深層ネットワークにおける勾配の流れや学習安定性を損なわないことを検証すること。

提案手法

• Squeeze-and-Excitation（SE）ブロックをすべてのブリッジ接続パスに挿入した、変更されたResNetアーキテクチャ、すなわちRes-SE-Netを導入する。
• SEブロックは、グローバル平均プーリングによりチャネルごとの注目重みを計算し、ReLUおよびシグモイド活性化関数を伴う全結合層を経て、学習可能なスケーリング要因を生成する。
• これらの学習された重みは、要素ごとの乗算により、ブリッジ接続内の特徴マップに適用される。
• 残差学習を維持するため、スキップ接続構造を保持することで、バックプロパゲーション中の安定した勾配の流れを確保する。
• 標準的なResNetの深さ設定（20、32、44、56、110層）を用いて、CIFAR-10およびCIFAR-100で評価する。
• 標準的なデータオーグメンテーションおよび最適化プロトコルに従って学習を行い、ベースラインのResNetおよびSE-ResNetと性能を比較する。

Figure 1: Resnet module (adapted from [ 1 ] ).

実験結果

リサーチクエスチョン

• RQ1 ブリッジ接続は、特に取り除かれた場合に、ResNetの性能にとってどれほど重要であるか？
• RQ2 ブリッジ接続内のすべての特徴マップを等しく重み付けすることは、モデル容量を制限しており、動的重み付けによって性能を向上させられるか？
• RQ3 ブリッジ接続にSqueeze-and-Excitationブロックを統合することで、学習の中断を起こさずに特徴マップ表現を向上させられるか？
• RQ4 ベンチマーク画像分類データセットにおいて、Res-SE-NetはSE-ResNetおよびベースラインのResNetよりも汎化性能に優れているか？
• RQ5 SEブロックの配置がブリッジ接続内とアイデンティティスキップ接続内において、モデルの精度および学習安定性に与える影響は何か？

主な発見

• すべての深さ設定において、CIFAR-10ではベースラインのResNetに対して平均0.566%、CIFAR-100では0.704%の精度向上を達成した。
• Res-SE-Net-110のバージョンが最大の向上を示し、ResNet-110と比較してCIFAR-10で0.87%、CIFAR-100で1.6%の向上を達成した。
• SE-ResNetはCIFAR-10で平均0.124%、CIFAR-100で1.392%の向上を示した。Res-SE-Net-110はそれぞれ0.74%および1.94%の向上を達成した。
• すべてのRes-SE-Netモデルにおいて、深さ20から110層にわたり、訓練損失が滑らかで安定しており、勾配の流れに支障がないことが示された。
• 実験的結果から、アイデンティティスキップ接続にSEブロックを追加すると性能が低下することが判明した。特に深層ネットワークでは顕著であり、配置の選択的意義が強調された。
• 提案されたアーキテクチャは、ベースラインのResNetおよびSE-ResNetよりも汎化性能に優れており、ブリッジ接続の強化が顕著な性能向上をもたらすことが示された。

Figure 4: Modified bridge-connection 4 4 4 Image from Andrew Ng’s Deep Learning course and modified with an SE block. .