[논문 리뷰] Backbones-Review: Feature Extraction Networks for Deep Learning and Deep Reinforcement Learning Approaches

Omar Elharrouss, Younes Akbari외 2명|arXiv (Cornell University)|2022. 06. 16.

Anomaly Detection Techniques and Applications참고 문헌 144인용 수 49

한 줄 요약

한 문장 요약: DL 및 DRL에서 특징 추출에 사용되는 백본 네트워크(예: AlexNet, VGG, ResNet, DenseNet, EfficientNet, HRNet)에 대한 포괄적 조사로, 아키텍처, 작업 및 비교 인사이트를 자세히 설명합니다.

ABSTRACT

To understand the real world using various types of data, Artificial Intelligence (AI) is the most used technique nowadays. While finding the pattern within the analyzed data represents the main task. This is performed by extracting representative features step, which is proceeded using the statistical algorithms or using some specific filters. However, the selection of useful features from large-scale data represented a crucial challenge. Now, with the development of convolution neural networks (CNNs), the feature extraction operation has become more automatic and easier. CNNs allow to work on large-scale size of data, as well as cover different scenarios for a specific task. For computer vision tasks, convolutional networks are used to extract features also for the other parts of a deep learning model. The selection of a suitable network for feature extraction or the other parts of a DL model is not random work. So, the implementation of such a model can be related to the target task as well as the computational complexity of it. Many networks have been proposed and become the famous networks used for any DL models in any AI task. These networks are exploited for feature extraction or at the beginning of any DL model which is named backbones. A backbone is a known network trained in many other tasks before and demonstrates its effectiveness. In this paper, an overview of the existing backbones, e.g. VGGs, ResNets, DenseNet, etc, is given with a detailed description. Also, a couple of computer vision tasks are discussed by providing a review of each task regarding the backbones used. In addition, a comparison in terms of performance is also provided, based on the backbone used for each task.

연구 동기 및 목표

• DL 및 DRL에서 특징 추출에 사용되는 백본 계열을 조사하고 분류한다.
• 분류, 검출, 분할 등 다양한 컴퓨터 비전 작업에 대해 백본이 어떻게 선택되는지 논의한다.
• 아키텍처, 매개변수 및 계산적 고려사항에 대한 비교 논의를 제공한다.
• 백본 설계 및 활용에서의 도전과제와 향후 방향을 강조한다.

제안 방법

• 주요 백본 아키텍처를 설명하고 분류한다(예: AlexNet, VGGs, ResNet, Inception, DenseNet, MobileNet, EfficientNet, HRNet 등).
• 매개변수, 학습 과제, 주요 아키텍처 특징 등 백본 특성을 요약한다.
• 컴퓨터 비전 작업과 DRL 맥락에서의 백본 배치를 검토한다.
• 작업과 백본 전반에 걸친 질적 비교와 추세를 제공한다.

실험 결과

연구 질문

• RQ1 DL 및 DRL 작업 전반에서 특징 추출에 가장 일반적으로 사용되는 백본 아키텍처는 무엇인가?
• RQ2 이미지 분류, 객체 검출, 군중 수 추정, 비디오 요약 등에 대해 백본 선택이 성능 및 계산 비용에 어떤 영향을 미치는가?
• RQ3 백본 설계와 사용에서 관찰되는 경향과 격차는 무엇이며 제안되는 향후 방향은 무엇인가?
• RQ4 전통적인 DL 작업과 비교하여 DRL 맥락에서 백본의 성능은 어떠한가?

주요 결과

Backbone	Year	# of parameters	trained task
AlexNet	2012	60M	Img-class
VGG-16	2014	138M	Img-class
VGG-19	2014	144M	Img-class
Inception-V1 (GoogleNet)	2014	5 M	Img-class
ResNet-50	2015	26 M	Img-class
ResNet-101	2015	44.6 M	Img-class
ResNet-152	2015	230M	Img-class
Inception-V2	2015	21.8M	Img-class
Inception-V3	2015	21.8M	Img-class
Inception-ResNet-V2	2015	55 M	Img-class, obj-det
Darknet-19	2015	20.8 M	Obj-det
Xception	2017	22.9 M	Img-class

• 본 연구는 AlexNet, VGG-16/19, GoogleNet/Inception 변형, ResNet 계열, DenseNet, Darknet, ShuffleNet, DetNet, SqueezeNet, MobileNet, WideResNet, EfficientNet, SWideRNet, Xception, HRNet 등 광범위한 백본들을 열거하고 설명한다.
• 백본은 특정 CV 작업(이미지 분류, 객체 검출, 군중 수 추정, 비디오 요약 등)과 연결되며, 사용 맥락에서의 강점에 주목한다.
• 매개변수 수, FLOPs, 전력 제약이 있는 장치에의 적합성 등 성능과 복잡성 고려사항이 논의되며, 정확도와 효율성 간의 트레이드오프를 강조한다.
• 심층 대 폭, 잔차 연결, 다중 스케일 및 고해상도 유지 아키텍처, 모바일 및 엣지 애플리케이션을 위한 효율적 컨볼루션 전략 등 설계 경향의 진화를 언급한다.
• 표 하나가 공통 네트워크 전반에 걸친 백본 특성(연도, 매개변수, 학습 과제)을 빠르게 참조할 수 있도록 요약한다.