[논문 리뷰] A Survey on Deep Neural Network Partition over Cloud, Edge and End Devices

Di Xu, X. He외 2명|arXiv (Cornell University)|2023. 04. 20.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 종합적 서베이는 클라우드, 엣지, 종단 장치에서의 딥 네ural 네트워크(DNN) 파artitioning에 대한 포괄적인 분석을 제시하며, 기존 접근 방식을 통합하는 다섯 차원의 분류 프레임워크를 도입한다. DNN 파artitioning 전략을 평가하기 위한 표준화된 모델을 제안하고, 동적 환경, 프라이버시, 알고리즘 복잡도 등의 주요 과제를 규명하며 분산 AI 추론 분야의 향후 연구를 위한 기반을 마련한다.

ABSTRACT

Deep neural network (DNN) partition is a research problem that involves splitting a DNN into multiple parts and offloading them to specific locations. Because of the recent advancement in multi-access edge computing and edge intelligence, DNN partition has been considered as a powerful tool for improving DNN inference performance when the computing resources of edge and end devices are limited and the remote transmission of data from these devices to clouds is costly. This paper provides a comprehensive survey on the recent advances and challenges in DNN partition approaches over the cloud, edge, and end devices based on a detailed literature collection. We review how DNN partition works in various application scenarios, and provide a unified mathematical model of the DNN partition problem. We developed a five-dimensional classification framework for DNN partition approaches, consisting of deployment locations, partition granularity, partition constraints, optimization objectives, and optimization algorithms. Each existing DNN partition approache can be perfectly defined in this framework by instantiating each dimension into specific values. In addition, we suggest a set of metrics for comparing and evaluating the DNN partition approaches. Based on this, we identify and discuss research challenges that have not yet been investigated or fully addressed. We hope that this work helps DNN partition researchers by highlighting significant future research directions in this domain.

연구 동기 및 목표

• 자원 제약이 있는 종단 및 엣지 장치에 대규모 DNN을 구현하는 데 도전하는 문제를 해결하기 위해 이질적인 컴퓨팅 환경에서 효율적인 모델 파artitioning을 가능하게 한다.
• 문헌에 존재하는 다양한 DNN 파artitioning 접근 방식을 체계적이고 확장 가능한 분류 프레임워크로 통합하여 체계적인 비교 및 분석을 가능하게 한다.
• 동적 환경, 프라이버시 보호, 알고리즘 효율성과 관련된 아직 다루지 않은 주요 연구 과제를 규명하고 강조한다.
• 지연, 에너지 소비, 자원 활용도 등의 최적화 목표에 따라 DNN 파artitioning 전략을 평가하고 비교하기 위한 표준화된 지표를 제안한다.
• 동적이고 프라이버시를 고려한, 확장 가능한 DNN 파artitioning을 위한 잠재적인 연구 방향을 제시함으로써 향후 연구를 이끌어낸다.

제안 방법

• 배포 위치, 파artition의 세분성, 제약 조건, 최적화 목표, 최적화 알고리즘의 다섯 가지 차원으로 구성된 DNN 파artitioning을 위한 다섯 차원의 분류 프레임워크를 제안한다.
• 계산, 통신, 자원 사용 간의 트레이드오프를 정형화하기 위해 DNN 파artition 문제의 통합 수학적 모델을 개발한다.
• 공정한 비교를 가능하게 하기 위해 추론 지연, 에너지 소비, 자원 활용도, 프라이버시 영향도를 포함한 표준화된 평가 지표 세트를 도입한다.
• 제안된 프레임워크의 시각에서 기존의 DNN 파artitioning 기법을 분석하여 각 접근 방식이 다섯 차원의 특정 값에 어떻게 매핑되는지 분석한다.
• 2015년부터 2023년까지 DNN 파artitioning 분야의 최신 발전을 다루기 위해 주요 디지털 라이브러리와 검색 엔진을 활용한 체계적 문헌 리뷰 및 통합 분석을 수행한다.
• 파artition 알고리즘 자체의 계산 복잡도를 간과하는 것과 오프로딩 비용 모델링에서 정적 가정을 하는 것과 같은 현재 접근 방식의 한계를 제기한다.

(a) Fall detection in smart home

실험 결과

연구 질문

• RQ1 클라우드, 엣지, 종단 장치와 같은 다양한 배포 환경에서 DNN 파artitioning 접근 방식을 체계적으로 분류하고 비교할 수 있는 방법은 무엇인가?
• RQ2 DNN 파artitioning에서의 주요 성능 트레이드오프는 무엇이며, 실제 제약 조건 하에서 어떻게 모델링하고 최적화할 수 있는가?
• RQ3 현재 DNN 파artitioning 연구에서 가장 큰 격차는 무엇인가? 특히 동적 환경, 프라이버시, 알고리즘 효율성 측면에서 말이다.
• RQ4 대규모 모델을 실시간 응용에 적합하게 하기 위해 DNN 파artitioning 알고리즘의 계산 복잡도를 어떻게 최소화할 수 있는가?
• RQ5 협업 추론은 분산 DNN 추론에서 프라이버시와 성능을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 다섯 차원의 분류 프레임워크는 기존의 DNN 파artitioning 접근 방식을 성공적으로 매핑하고 분류하여 다양한 기법에 대한 체계적인 이해와 비교를 가능하게 한다.
• 현재 DNN 파artitioning 방법들은 파artition 알고리즘 자체의 계산 복잡도를 간과하는 경우가 많아 대규모 모델에 대해 확장성 문제를 야기한다.
• 특히 모바일 엣지 장치를 포함한 동적 환경에서의 오프로딩 비용 모델링은 여전히 미발전 상태이며, 대부분의 연구에서 정적 또는 이상화된 네트워크 조건을 가정하고 있다.
• 자원 활용도와 공정한 할당은 중요하지만 다소 간과된 최적화 목표로, 일반적으로 지연과 에너지 소비에 의해 가림을 받는다.
• 프라이버시 우려는 중간 특징이 클라우드로 전송될 경우 특히 심각하며, 현재 접근 방식은 프라이버시 보존 추론에 대해 제한적인 지원을 제공한다.
• 이동성과 장치 가용성의 변화로 인해 실세계 IoT 응용에서 동적 DNN 파artitioning이 필수적이지만, 런타임 적응을 저비용으로 지원하는 방법은 거의 없다.

(b) Smart traffic in smart city