[논문 리뷰] Dynamic Neural Networks: A Survey

Yizeng Han, Gao Huang외 4명|arXiv (Cornell University)|2021. 02. 09.

Advanced Neural Network Applications참고 문헌 267인용 수 40

한 줄 요약

본 조사는 동적 신경망을 sample-wise, spatial-wise, temporal-wise 범주로 분류하고, 아키텍처 설계, 의사결정 전략, 학습 기법, 응용 분야 및 향후 방향에 대해 고찰한다.

ABSTRACT

Dynamic neural network is an emerging research topic in deep learning. Compared to static models which have fixed computational graphs and parameters at the inference stage, dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness, etc. In this survey, we comprehensively review this rapidly developing area by dividing dynamic networks into three main categories: 1) instance-wise dynamic models that process each instance with data-dependent architectures or parameters; 2) spatial-wise dynamic networks that conduct adaptive computation with respect to different spatial locations of image data and 3) temporal-wise dynamic models that perform adaptive inference along the temporal dimension for sequential data such as videos and texts. The important research problems of dynamic networks, e.g., architecture design, decision making scheme, optimization technique and applications, are reviewed systematically. Finally, we discuss the open problems in this field together with interesting future research directions.

연구 동기 및 목표

• 동적 신경망에 대한 개요와 정적 모델에 비해 가지는 이점을 제시한다.
• 세분성(샘플-단위(sample-wise), 공간-단위(spatial-wise), 시간-단위(temporal-wise))으로 동적 네트워크를 분류한다.
• 아키텍처 설계, 의사결정 전략, 최적화 기법 및 응용 분야를 요약한다.
• 동적 네트워크의 개방 문제와 향후 연구 방향을 논의한다.

제안 방법

• 동적 네트워크를 세 가지 세분성으로 분류한다: 샘플-단위(sample-wise), 공간-단위(spatial-wise), 시간-단위(temporal-wise).
• 깊이(depth), 너비(width), 라우팅(routing)과 같은 아키텍처 설계 선택과 동적 매개변수 메커니즘(조정, 생성, 소프트 어텐션)을 체계적으로 검토한다.
• 조기 종료(early exiting), 게이팅(gating), MoE, 동적 라우팅 등 의사결정 스킴과 학습 고려사항을 기술한다.
• 비전 및 언어 작업 전반에 걸친 응용 사례를 종합하고 컴퓨터 비전(CV)과 자연어 처리(NLP)의 발전과 연계한다.

실험 결과

연구 질문

• RQ1 동적 신경망의 주요 범주와 그 정의 특성은 무엇인가?
• RQ2 효과적인 동적 추론을 가능하게 하는 의사결정 전략과 학습 기법은 무엇인가?
• RQ3 도메인 전반에 걸친 동적 네트워크의 일반적 응용 및 실용적 고려사항은 무엇인가?
• RQ4 동적 네트워크에 대해 확인된 개방 문제와 향후 방향은 무엇인가?

주요 결과

• 동적 네트워크는 쉬운 샘플이나 정보가 풍부한 위치에 계산을 적응적으로 할당함으로써 효율성을 향상시킬 수 있다.
• 동적 아키텍처와 매개변수는 비용 증가를 비교적 받지 않으면서 표현력을 확장한다.
• 적응적 추론은 플랫폼 전반에서 정확도와 계산 예산 간의 더 나은 균형을 가능하게 한다.
• 기존 기법(NAS, 가지치기, 양자화, 증류)과의 강한 호환성과 비전 및 언어 작업에 대한 넓은 적용성을 보인다.
• 주어진 입력에 대해 어떤 구성 요소가 활성화되는지 관찰함으로써 해석 가능성이 향상될 수 있다.
• 조사된 접근 방식은 다양한 방법들(조기 종료, MoE, 동적 라우팅, 게이팅, 매개변수 예측)에 대한 통합적 관점을 제공한다.