[논문 리뷰] Adaptive Inference through Early-Exit Networks: Design, Challenges and Directions

Stefanos Laskaridis, Alexandros Kouris외 1명|arXiv (Cornell University)|2021. 06. 09.

Advanced Neural Network Applications참고 문헌 82인용 수 13

한 줄 요약

이 논문은 DNN의 입력 난이도와 신뢰도에 따라 다양한 깊이에서 예측을 내릴 수 있는 적응형 추론의 한 형태인 이른 출구 네트워크에 대한 종합적인 서베이를 제시한다. 전반적인 DNN의 다양한 층에 분류기(출구)를 전략적으로 배치하고 동적 출구 정책을 사용함으로써, 정확도를 훼손하지 않은 채 추론 지연과 계산량을 줄일 수 있으며, 특히 모바일 및 엣지 디바이스에 매우 유용하다.

ABSTRACT

DNNs are becoming less and less over-parametrised due to recent advances in efficient model design, through careful hand-crafted or NAS-based methods. Relying on the fact that not all inputs require the same amount of computation to yield a confident prediction, adaptive inference is gaining attention as a prominent approach for pushing the limits of efficient deployment. Particularly, early-exit networks comprise an emerging direction for tailoring the computation depth of each input sample at runtime, offering complementary performance gains to other efficiency optimisations. In this paper, we decompose the design methodology of early-exit networks to its key components and survey the recent advances in each one of them. We also position early-exiting against other efficient inference solutions and provide our insights on the current challenges and most promising future directions for research in the field.

연구 동기 및 목표

• 이른 출구 네트워크의 설계 공간을 분석하기 위해 출구 배치, 아키텍처, 학습 전략을 포함한다.
• 이른 출구 네트워크를 구현할 때 발생하는 주요 과제를 특정하기 위해 추론 오버헤드, 기울기 갈등, 신뢰도 校정 등을 고려한다.
• 향후 연구 방향을 탐색하기 위해 시간 인식, 계층적 추론, 개인화, 연합 학습 및 확률적 학습과의 통합을 포함한다.
• 모델 프리닝, 양자화, 지식 증류와 함께 이른 출구를 보완적인 효율 기법으로 위치지어 제시한다.
• 학습은 한 번만 하고 다양한 환경에 배포할 수 있도록 하기 위해 학습과 런타임 설정을 분리한다.

제안 방법

• 백본 DNN의 다양한 깊이에 다중 분류기 헤드(출구)를 갖춘 이른 출구 네트워크를 설계한다.
• 예측 신뢰도 또는 불확실성에 기반해 신뢰도 임계값을 충족하는 가장 이른 출구를 선택하는 런타임 출구 정책을 적용한다.
• 모든 출구를 동시에 최적화하기 위해 공동 학습 전략을 사용하여 모든 출구 헤드 간의 정확도를 균형 잡는다.
• 학습 후 새로운 데이터 분포에 적응하기 위해 지식 증류 또는 자기 증류를 적용하여 이른 출구를 조정한다.
• NAS 기반 또는 구조적 탐색을 통해 출구 수, 위치, 아키텍처를 동시에 최적화하는 방법을 탐색한다.
• 불확실성을 더 잘 측정하고 출구 결정을 이끌어내기 위해 확률적 추론(예: 베이지안 신경망)을 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 계산 오버헤드를 최소화하면서 정확도와 속도 향상을 극대화할 수 있는가?
• RQ2 얕은 출구와 깊은 출구 간의 기울기 갈등을 효과적으로 균형 잡는 학습 전략은 무엇인가? 성능 저하 없이 구현 가능한가?
• RQ3 기기 제약 조건, 입력 난이도, 런타임 요구사항에 적응 가능한 출구 정책는 어떻게 설계할 수 있는가?
• RQ4 순차적 입력에서 시간적 또는 공간적 상관관계는 이른 출구 결정을 어떻게 향상시킬 수 있는가?
• RQ5 개인화, 연합 학습, 계층적 분류를 지원하기 위해 이른 출구 네트워크는 어떻게 확장할 수 있는가?

주요 결과

• 이른 출구 네트워크는 쉬운 입력에서는 2–3배까지의 빠른 속도 향상을 달성할 수 있으며, 어려운 샘플에 대해서도 높은 정확도를 유지한다.
• 신뢰도 기반 출구 정책를 사용해 다중 출구를 공동으로 학습하면, 개별적으로 학습한 경우보다 더 우수한 일반화 성능을 달성한다.
• 적절하지 않은 출구 위치 또는 정책 설계는 특히 초기 출구가 충분히 확신하지 못할 경우에 비용이 상당히 증가할 수 있다.
• 예측 신뢰도의 校정은 매우 중요하다. 현재의 방법들은 모델의 불확실성을 잘못 표현하여 최적의 출구 결정을 내리지 못할 수 있다.
• 향후 방향으로 계층적 추론과 시간 인식은 영상 및 순차적 작업에서의 효율성을 더욱 향상시킬 수 있다.
• 베이지안 신경망과 같은 확률적 모델은 자연스럽게 불확실성 인식 기반의 이른 출구를 지원하며, 안정적인 배포를 위한 유망한 길을 제시한다.