[논문 리뷰] A Comprehensive Survey of Convolutions in Deep Learning: Applications, Challenges, and Future Trends

Abolfazl Younesi, Mohsen Ansari외 4명|arXiv (Cornell University)|2024. 02. 23.

Text and Document Classification Technologies인용 수 6

한 줄 요약

이 설문조사는 고유 설계 패턴에 따라 CNN 아키텍처를 분류하고, 그 적용과 도전과제를 분석하며, 2D/1D/3D, 확장형, 그룹형, 주의형, NAS 기반 스타일에 걸친 합성곱 기법의 향후 추세를 개관합니다.

ABSTRACT

In today's digital age, Convolutional Neural Networks (CNNs), a subset of Deep Learning (DL), are widely used for various computer vision tasks such as image classification, object detection, and image segmentation. There are numerous types of CNNs designed to meet specific needs and requirements, including 1D, 2D, and 3D CNNs, as well as dilated, grouped, attention, depthwise convolutions, and NAS, among others. Each type of CNN has its unique structure and characteristics, making it suitable for specific tasks. It's crucial to gain a thorough understanding and perform a comparative analysis of these different CNN types to understand their strengths and weaknesses. Furthermore, studying the performance, limitations, and practical applications of each type of CNN can aid in the development of new and improved architectures in the future. We also dive into the platforms and frameworks that researchers utilize for their research or development from various perspectives. Additionally, we explore the main research fields of CNN like 6D vision, generative models, and meta-learning. This survey paper provides a comprehensive examination and comparison of various CNN architectures, highlighting their architectural differences and emphasizing their respective advantages, disadvantages, applications, challenges, and future trends.

연구 동기 및 목표

• 2012년 이후에 고유 설계 패턴에 기반한 CNN 아키텍처 분류 체계(분류학)를 명확히 하고, 각 설계의 강점, 약점 및 적용 가능성을 비교한다.
• 타깃 하드웨어에서 다양한 CNN 유형의 성능, 효율성 및 배치(배포) 고려사항을 평가한다.
• 경량 설계 및 압축 기법을 포함한 에너지 효율 전략을 식별하고, 이들의 정확도와 지연에 대한 영향을 평가한다.
• 임베디드 및 자원제한 환경에서 최적화된 CNN의 실세계 응용, 벤치마크 및 배포 관행을 논의한다.
• CNN 연구 및 관련 분야의 향후 트렌드, 도전과제 및 남은 질문을 개괄한다.

제안 방법

• 출시 연도보다 고유 설계 패턴에 기반한 CNN 아키텍처의 분류 체계를 제안한다.
• 2D, 1D, 3D, 확장형(확장된), 및 그룹형 합성곱과 그 사용 사례의 비교 분석을 제공한다.
• 효율성을 위한 가지치기(pruning), 양자화, 증류(distillation), 아키텍처 탐색(architecture search) 등 학습 기법을 검토한다.
• CNN 연구 및 배치를 위한 플랫폼, 프레임워크, 성능 고려사항을 검토한다.
• 6D 비전, 생성 모델, 메타러닝, 비전-언어 모델 등과 같은 응용 도메인 및 연구 분야를 다룬다.

Figure 1: Represents the section-by-section structure of the paper that provides a clear and organized framework for presenting the research findings.

실험 결과

연구 질문

• RQ1 최신 CNN 모델이 타깃 하드웨어에서 제약된 기준선 대비 정확도, 지연, 메모리 측면에서 어떻게 성능을 보이나요?
• RQ2 모델 크기, 속도, 정확도 사이에서 최상의 트레이드오프를 제공하는 가지치기, 양자화, 증류 및 아키텍처 설계 기법은 무엇인가요?
• RQ3 임베디드 또는 자원제한 기기에 CNN을 배치할 때 다단계 최적화 접근법이 단일 방법보다 성능을 우수한가요?
• RQ4 특정 응용 및 하드웨어에 대해 최적화된 CNN을 벤치마킹, 조정, 배포하기 위한 모범 사례는 무엇인가요?
• RQ5 6D 비전, GANs 및 대규모 비전 모델과 같은 신흥 작업에 가장 효과적인 합성곱 기법은 무엇인가요?

주요 결과

• 본 설문은 데이터 유형 및 작업 전반에 걸친 CNN 아키텍처의 포괄적 비교를 제공하며, 성능과 효율성 간의 트레이드오프를 강조합니다.
• 경량 CNN 아키텍처와 압축 기법은 함께 에너지 효율을 크게 향상시키고 모바일 및 에지 디바이스에 배치 가능하게 합니다.
• 확장형(dilated) 및 깊이별/그룹화된 합성곱(depthwise/grouped) 등의 기법은 다양한 애플리케이션에 적합한 서로 다른 계산 비용과 메모리 소요를 제공합니다.
• 이미지 인식, 객체 탐지, 자연어 처리(NLP), 의학 영상 등 광범위한 응용 분야가 합성곱 유형의 신중한 선택으로 이익을 얻습니다.
• 플랫폼, 데이터셋 및 향후 연구 방향이 논의되어 개발자들이 실용적 배치와 추가 발전으로 이끄는 방향을 제시합니다.

Figure 2: A text-based visual reading map that helps individuals navigate and comprehend the paper