[논문 리뷰] Computation-efficient Deep Learning for Computer Vision: A Survey

Yulin Wang, Yizeng Han외 4명|arXiv (Cornell University)|2023. 08. 27.

Advanced Neural Network Applications인용 수 19

한 줄 요약

본 조사는 백본 설계, 동적 네트워크, 작업 특화 모델, 모델 압축 및 하드웨어 배치를 포함하여 컴퓨테이션-효율적 딥러닝의 컴퓨터 비전 영역 분석이다.

ABSTRACT

Over the past decade, deep learning models have exhibited considerable advancements, reaching or even exceeding human-level performance in a range of visual perception tasks. This remarkable progress has sparked interest in applying deep networks to real-world applications, such as autonomous vehicles, mobile devices, robotics, and edge computing. However, the challenge remains that state-of-the-art models usually demand significant computational resources, leading to impractical power consumption, latency, or carbon emissions in real-world scenarios. This trade-off between effectiveness and efficiency has catalyzed the emergence of a new research focus: computationally efficient deep learning, which strives to achieve satisfactory performance while minimizing the computational cost during inference. This review offers an extensive analysis of this rapidly evolving field by examining four key areas: 1) the development of static or dynamic light-weighted backbone models for the efficient extraction of discriminative deep representations; 2) the specialized network architectures or algorithms tailored for specific computer vision tasks; 3) the techniques employed for compressing deep learning models; and 4) the strategies for deploying efficient deep networks on hardware platforms. Additionally, we provide a systematic discussion on the critical challenges faced in this domain, such as network architecture design, training schemes, practical efficiency, and more realistic model compression approaches, as well as potential future research directions.

연구 동기 및 목표

• 이미지, 비디오 및 3D 데이터에 대한 효율적인 백본(정적 및 동적) 설계 검토.
• 일반 CV 작업(예: 탐지, 분할)을 위한 작업 특화 효율 모델을 조사.
• 모델 압축 기법과 정확도 및 효율성에 대한 영향 요약.
• 실용적 효율성을 위한 배포 전략 및 하드웨어 고려사항 논의.
• 계산 효율적 CV 학습의 도전과제와 향후 방향 식별.

제안 방법

• 마이크로-아키텍처(split-transform-merge, inverted bottlenecks, feature reuse, down-sampling, efficient self-attention)를 포함한 백본 설계 기법 분석.
• 합성곱과 어텐션의 결합, 깊이-너비 스케일링, 복합 모델 스케일링 등 매크로 아키텍처 원칙 논의.
• 계산 및 지연-인식을 갖춘 자동 아키텍처 검색(NAS) 설명.
• 2D/3D 하이브리드, (2+1)D, slow-fast 등 효율적 영상 백본 요약 및 3D 비전 백본(point/voxel/multi-view) 설명.
• 입력 적응적 추론을 위한 샘플-별 깊이/너비, 조기 종료, SuperNet 라우팅 등의 동적 백본 개념 설명.

실험 결과

연구 질문

• RQ1 이미지, 비디오 및 3D 데이터에 대해 어떤 설계 전략이 계산 효율적인 백본을 산출하는가?
• RQ2 NAS와 지연 인식 방법이 실용적이고 빠른 아키텍처를 어떻게 만들어낼 수 있는가?
• RQ3 입력 적응적 효율성을 위한 동적 네트워크의 효과적인 접근법은 무엇인가?
• RQ4 정확도와 효율성의 균형을 가장 잘 맞추는 모델 압축 및 하드웨어 배치 기법은 무엇인가?
• RQ5 배치 가능한 계산 효율 CV 모델의 향후 도전과제는 무엇인가?

주요 결과

• 본 조사는 정적·동적 백본 설계, 작업 특화 효율 모델, 압축 방법 및 하드웨어 배치 전략을 종합한다.
• split-transform-merge 패러다임과 그 발전을 강조하며, 역분할병목(inverted bottlenecks)과 피처 재사용을 핵심 효율성 개념으로 다룬다.
• 효율적인 아키텍처를 위한 실용적인 경로로 NAS와 지연 인식 NAS를 논의한다.
• 비디오 및 3D 비전용 효율 백본을 검토하며, 2D/3D 하이브리드와 멀티뷰 접근법을 포함한다.
• 아키텍처 설계, 학습 방식, 실용적 효율성 및 현실적인 압축 접근법의 도전과제를 식별하고 향후 방향을 제시한다.