[논문 리뷰] Split Computing and Early Exiting for Deep Learning Applications: Survey and Research Challenges

Yoshitomo Matsubara, Marco Levorato외 1명|arXiv (Cornell University)|2021. 03. 08.

Age of Information Optimization인용 수 14

한 줄 요약

이 논문은 모바일 및 엣지 디바이스에서 딥 러닝 추론을 최적화하기 위한 스플릿 컴퓨팅(Split Computing, SC)과 이른 종료(Early Exiting, EE) 기법에 대한 종합적인 설문 조사 결과를 제시한다. DNN을 모바일 및 엣지 노드 간에 분할하거나 중간 레이어에서 이른 예측을 가능하게 함으로써, SC와 EE는 정확도를 유지하면서도 지연 시간, 에너지 소비 및 대역폭 사용을 줄인다. 특히 변동성이 큰 네트워크 조건에서 뛰어난 성능을 발휘한다.

ABSTRACT

Mobile devices such as smartphones and autonomous vehicles increasingly rely on deep neural networks (DNNs) to execute complex inference tasks such as image classification and speech recognition, among others. However, continuously executing the entire DNN on mobile devices can quickly deplete their battery. Although task offloading to cloud/edge servers may decrease the mobile device's computational burden, erratic patterns in channel quality, network, and edge server load can lead to a significant delay in task execution. Recently, approaches based on split computing (SC) have been proposed, where the DNN is split into a head and a tail model, executed respectively on the mobile device and on the edge server. Ultimately, this may reduce bandwidth usage as well as energy consumption. Another approach, called early exiting (EE), trains models to embed multiple "exits" earlier in the architecture, each providing increasingly higher target accuracy. Therefore, the trade-off between accuracy and delay can be tuned according to the current conditions or application demands. In this paper, we provide a comprehensive survey of the state of the art in SC and EE strategies by presenting a comparison of the most relevant approaches. We conclude the paper by providing a set of compelling research challenges.

연구 동기 및 목표

• 스마트폰과 드론과 같은 모바일 디바이스에서 큰 DNN을 실행할 경우 발생하는 높은 계산 비용과 에너지 소비 문제를 해결하기 위해.
• 가변적인 네트워크 지연과 신뢰할 수 없는 무선 링크로 인해 성능이 떨어지는 클라우드 전면 오프로딩의 한계를 극복하기 위해.
• 정확도, 지연 시간, 에너지 효율성 간의 균형을 이루는 데 효과적인 전략을 규명하기 위해 최신 SC 및 EE 기법을 설문 조사하고 비교하기 위해.
• 동적 환경 적응, 임계값 최적화, 그리고 이미지 분류를 초과하는 더 넓은 응용 분야에서의 핵심 연구 과제를 규명하기 위해.
• 정보 버블 테오리 등 이론적 기초를 탐색하여 SC 및 EE 설계를 더 잘 이해하고 이끌 수 있도록 하기 위해.

제안 방법

• 스플릿 컴퓨팅(SC)은 DNN을 모바일 디바이스에서 실행되는 헤드와 엣지 서버에서 실행되는 테일로 나누어 데이터 전송과 현지 계산을 줄인다.
• 이른 종료(EE)는 DNN 내부에 여러 개의 중간 예측 헤드(출구)를 도입하여, 신뢰도가 임계값을 초과하면 추론을 조기에 종료할 수 있도록 한다.
• 시스템은 신뢰도 점수에 따라 추론을 계속할지 또는 조기에 종료할지를 동적으로 선택하여 정확도와 지연 시간 간의 트레이드오프를 실현한다.
• 기법으로는 이른 종료를 최적화하기 위해 다중 작업 손실을 사용한 훈련과 성능 유지를 위한 지식 증류를 활용한다.
• 이 논문은 다양한 DNN과 응용 분야에서 출구 배치 및 모델 분할과 같은 아키텍처 선택 사항을 분석한다.
• 정보 버블 이론을 활용한 이론적 시각을 도입하여 DNN 레이어에서의 압축과 정보 유지 여부를 분석한다.

실험 결과

연구 질문

• RQ1 스플릿 컴퓨팅과 이른 종료를 효과적으로 융합하여 모바일 DNN 추론의 에너지 소비와 지연 시간을 어떻게 줄일 수 있는가?
• RQ2 SC 및 EE 아키텍처에서 정확도, 지연 시간, 에너지 소비 간의 핵심 설계 트레이드오프는 무엇인가?
• RQ3 수동으로 조정된 신뢰도 임계값에 의존하지 않고도 이른 종료를 위한 동적 의사결정을 어떻게 최적화할 수 있는가?
• RQ4 실시간 건강 모니터링과 같은 웨어러블 센서를 활용한 비-CV 영역에서 현재의 SC 및 EE 접근 방식의 한계는 무엇인가?
• RQ5 정보 버블 이론이 SC 및 EE 성능 분석과 향상에 체계적인 기초를 제공할 수 있는가?

주요 결과

• 정확도가 높은 EfficientDet-D7는 NVIDIA Jetson Nano와 같은 임베디드 디바이스에서 실행하는 데 수 초가 소요되며, 최적화의 필요성을 암시한다.
• 모바일 최적화 모델인 MobileNetV2와 MnasNet는 ResNet-152와 같은 깊은 모델 대비 ImageNet에서 최대 6.4%의 정확도 손실을 보인다.
• 경량 모델인 SSD-MobileNetV2도 COCO에서 6fps로 20% mAP에 그치며, 속도와 정확도 간의 트레이드오프를 보여준다.
• EE 전략은 높은 신뢰도를 가진 입력에 대해 조기 종료를 허용함으로써 추론 시간과 에너지 소비를 줄일 수 있다.
• 스플릿 컴퓨팅은 필요한 계산만 오프로딩함으로써 대역폭 사용을 줄여 불안정한 무선 환경에서도 성능을 향상시킨다.
• 정보 버블 이론과 같은 이론적 프레임워크는 이른 종료가 조기에 충분한 정보를 포착할 수 있음을 시사하며, 이는 SC 및 EE 설계를 압축 관점에서 정당화한다.