[論文レビュー] Development of Skip Connection in Deep Neural Networks for Computer Vision and Medical Image Analysis: A Survey

Guoping Xu, Xiaxia Wang+3 more|arXiv (Cornell University)|May 2, 2024

Brain Tumor Detection and Classification被引用数 10

ひとこと要約

本調査は、深層ニューラルネットワークにおけるスキップ接続と残差学習の起源、発展、および影響を、バックボーンアーキテクチャ、技術、および今後の方向性を概説する。

ABSTRACT

Deep learning has made significant progress in computer vision, specifically in image classification, object detection, and semantic segmentation. The skip connection has played an essential role in the architecture of deep neural networks,enabling easier optimization through residual learning during the training stage and improving accuracy during testing. Many neural networks have inherited the idea of residual learning with skip connections for various tasks, and it has been the standard choice for designing neural networks. This survey provides a comprehensive summary and outlook on the development of skip connections in deep neural networks. The short history of skip connections is outlined, and the development of residual learning in deep neural networks is surveyed. The effectiveness of skip connections in the training and testing stages is summarized, and future directions for using skip connections in residual learning are discussed. Finally, we summarize seminal papers, source code, models, and datasets that utilize skip connections in computer vision, including image classification, object detection, semantic segmentation, and image reconstruction. We hope this survey could inspire peer researchers in the community to develop further skip connections in various forms and tasks and the theory of residual learning in deep neural networks. The project page can be found at https://github.com/apple1986/Residual_Learning_For_Images

研究の動機と目的

• スキップ接続と残差学習の短い歴史と起源をたどる。
• スキップ接続が深層ネットの訓練および推定性能に与える影響を要約する。
• 残差学習を継承する重要なバックボーンアーキテクチャ（例：ResNet、DenseNet）と、それらのCV/医用画像における応用をレビューする。
• タスクとアーキテクチャを横断する残差学習とスキップ接続に関する理論的洞察と今後の方向性を議論する。

提案手法

• 負のフィードバックから残差学習とスキップ接続への歴史的発展を概観する。
• スキップ長、ブロックの拡張、識別特徴学習、効率性、および自己注意の統合によって、残差学習の進歩を分類する。
• スキップ接続を採用する主要なアーキテクチャとモジュールを要約する（例：ResNet、DenseNet、Inception系、ResNeXt、Res2Net、WRN、DenseNet）。
• 活性化順序、SENet/SKNet/ResNeSt のような注意ブロック、ボトルネックの再設計、膨張畳み込みや変形畳み込みなど、残差学習を強化する手法を議論する。
• 1x1、group、depthwise畳み込み、確率的深さ、剪定、蒸留など、効率性に焦点をあてた修正と、スキップ接続を使用する自己注意フレームワーク（Transformers、ViT、Swin Transformer）を検討する。）

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおけるスキップ接続の起源と進化は何か。
• RQ2 スキップ接続は深層CV/医用画像モデルの訓練における最適化と一般化にどう影響するか。
• RQ3 長いスキップや短いスキップ、ブロックの拡大、多分岐設計など、どのようなアーキテクチャ変種が性能と効率を最大化するか。
• RQ4 注意機構や自己注意ベースのモデルは残差学習にどのような役割を果たしているか。
• RQ5 CVと医用画像にわたるスキップ接続ベースのアプローチを示すリソース（データセット、コード、モデル）は何か。

主な発見

• スキップ接続/残差学習は、深いネットワークにおいて最適化を大幅に容易にし、最終的な精度を向上させる。
• 長いスキップ接続（例：FCN、U-Net）は、セグメンテーションや関連タスクのために、詳細な空間情報と高レベルの意味を効果的に結合する。
• 残差ブロックの拡張や多分岐設計（DenseNet、ResNeXt、Res2Net、WRN）は、深さの増加だけを超えて性能と効率を向上させる。
• 注意モジュール（SENet、SKNet、ResNeSt、CBAM）は、残差ブロックと組み合わせることで識別的特徴学習を強化する。
• 拡張畳み込み、可変形畳み込み、深さ方向畳み込み、グループ畳み込み、1x1 などの高度な畳み込み技術と、確率的深さ/pruning 戦略は、精度を落とさずに効率性を向上させる。
• Transformersと自己注意（ViT、Swin Transformer）はスキップ接続を活用し、現代のCVアーキテクチャおよび事前学習パラダイムの中心であり続ける。）