[논문 리뷰] Development of Skip Connection in Deep Neural Networks for Computer Vision and Medical Image Analysis: A Survey

Guoping Xu, Xiaxia Wang외 3명|arXiv (Cornell University)|2024. 05. 02.

Brain Tumor Detection and Classification인용 수 10

한 줄 요약

본 고찰은 컴퓨터 비전 및 의학 영상에서의 스킵 연결과 잔차 학습의 기원, 개발 및 영향력을 다루며, 백본 아키텍처, 기법 및 향후 방향을 개요한다.

ABSTRACT

Deep learning has made significant progress in computer vision, specifically in image classification, object detection, and semantic segmentation. The skip connection has played an essential role in the architecture of deep neural networks,enabling easier optimization through residual learning during the training stage and improving accuracy during testing. Many neural networks have inherited the idea of residual learning with skip connections for various tasks, and it has been the standard choice for designing neural networks. This survey provides a comprehensive summary and outlook on the development of skip connections in deep neural networks. The short history of skip connections is outlined, and the development of residual learning in deep neural networks is surveyed. The effectiveness of skip connections in the training and testing stages is summarized, and future directions for using skip connections in residual learning are discussed. Finally, we summarize seminal papers, source code, models, and datasets that utilize skip connections in computer vision, including image classification, object detection, semantic segmentation, and image reconstruction. We hope this survey could inspire peer researchers in the community to develop further skip connections in various forms and tasks and the theory of residual learning in deep neural networks. The project page can be found at https://github.com/apple1986/Residual_Learning_For_Images

연구 동기 및 목표

• 스킵 연결과 잔차 학습의 짧은 역사와 기원을 추적한다.
• 스킵 연결이 딥 네트의 학습 및 테스트 성능에 미치는 영향을 요약한다.
• 잔차 학습을 계승하는 중요한 백본 아키텍처(예: ResNet, DenseNet)와 그들의 CV/의료 영상 분야 응용을 검토한다.
• 작업과 아키텍처 전반에 걸친 잔차 학습과 스킵 연결에 대한 이론적 통찰과 향후 방향을 논의한다.

제안 방법

• 역피드백에서 잔차 학습과 스킵 연결까지의 역사적 발전을 조사한다.
• 스킵 길이, 블록 확대, 판별 특징 학습, 효율성 및 자체 주의 통합으로 잔차 학습 발전을 분류한다.
• 스킵 연결을 활용하는 주요 아키텍처 및 모듈 요약(예: ResNet, DenseNet, Inception 변형, ResNeXt, Res2Net, WRN, DenseNet).
• 활성화 순서, SENet/SKNet/ResNeSt와 같은 주의 블록, 병목 재설계, 확장 및 변형 가능한 합성곱 등의 잔차 학습 강화 기법을 논의한다.
• 효율성 중심의 수정(1x1, 그룹, Depthwise 합성곱, 확률적 심층, 가지치기, 증류) 및 스킵 연결을 사용하는 자체 어텐션 프레임워크(트랜스포머, ViT, Swin Transformer)를 검토한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에서의 스킵 연결의 기원과 진화는 무엇인가?
• RQ2 스킵 연결이 딥 CV/의료 영상 모델의 최적화 및 일반화에 어떤 영향을 미치는가?
• RQ3 성능과 효율성을 극대화하는 아키텍처 변형(긴 스킵 대 짧은 스킵, 확장된 블록, 다중 분지 설계)은 무엇인가?
• RQ4 주목 메커니즘과 자체 주의 기반 모델이 잔차 학습에서 어떤 역할을 하는가?
• RQ5 CV 및 의료 영상 전반에 걸친 스킵 연결 기반 접근법을 보여주는 자원(데이터셋, 코드, 모델)은 무엇인가?

주요 결과

• 스킵 연결/잔차 학습은 딥 네트워크에서 최적화를 크게 용이하게 하고 최종 정확도를 향상시킨다.
• 긴 스킵 연결(예: FCN, U-Net)은 분할 및 관련 작업을 위해 자세한 공간 정보를 고수준 의미와 효과적으로 융합한다.
• 잔차 블록 확장 및 다중 분기 설계(DenseNet, ResNeXt, Res2Net, WRN)는 깊이 증가만으로는 얻기 어려운 성능과 효율성을 향상시킬 수 있다.
• 주요 주의 모듈(SENet, SKNet, ResNeSt, CBAM)은 잔차 블록과 결합되어 판별 가능한 특징 학습을 향상시킨다.
• 확장된 합성곱(확대된), 변형 가능, depthwise, group, 1x1과 같은 고급 합성곱 기법 및 확률적 깊이/가지치기 전략은 정확도를 해치지 않으면서 효율성을 개선한다.
• 트랜스포머와 자체 주의(ViT, Swin Transformer)는 스킵 연결을 활용하고 현대 CV 구조 및 사전학습 패러다임의 중심에 있다.