[논문 리뷰] ScissionLite: Accelerating Distributed Deep Neural Networks Using Transfer Layer

Hyunho Ahn, Munkyu Lee외 2명|arXiv (Cornell University)|2021. 05. 05.

Advanced Neural Network Applications인용 수 4

한 줄 요약

ScissionLite는 분산 딥 뉴럴 네트워크(DNN) 추론을 산업용 인터넷(IIoT) 환경에서 가속화하기 위해 DNN 모델의 최적 슬라이싱 지점과 사이에 경량이고 트래픽 인지 기능을 갖춘 전송 계층(TL)을 삽입하는 통합 프레임워크이다. TL은 IIoT 장치에서 특징 맵을 압축하고 엣지에서 복원하기 위해 다운/업샘플링 네트워크를 사용하여 네트워크 트래픽을 줄이고 정확도 손실을 최소화하며, 로컬 추론 대비 최대 16배의 지연 감소와 최신 기술 대비 2.8배의 성능 향상을 달성한다.

ABSTRACT

Industrial Internet of Things (IIoT) applications can benefit from leveraging edge computing. For example, applications underpinned by deep neural networks (DNN) models can be sliced and distributed across the IIoT device and the edge of the network for improving the overall performance of inference and for enhancing privacy of the input data, such as industrial product images. However, low network performance between IIoT devices and the edge is often a bottleneck. In this study, we develop ScissionLite, a holistic framework for accelerating distributed DNN inference using the Transfer Layer (TL). The TL is a traffic-aware layer inserted between the optimal slicing point of a DNN model slice in order to decrease the outbound network traffic without a significant accuracy drop. For the TL, we implement a new lightweight down/upsampling network for performance-limited IIoT devices. In ScissionLite, we develop ScissionTL, the Preprocessor, and the Offloader for end-to-end activities for deploying DNN slices with the TL. They decide the optimal slicing point of the DNN, prepare pre-trained DNN slices including the TL, and execute the DNN slices on an IIoT device and the edge. Employing the TL for the sliced DNN models has a negligible overhead. ScissionLite improves the inference latency by up to 16 and 2.8 times when compared to execution on the local device and an existing state-of-the-art model slicing approach respectively.

연구 동기 및 목표

• 분산 DNN 추론 중 IIoT 네트워크에서 제한된 업링크 대역폭이 발생하는 병목 현상을 해결하기 위해.
• 추론 정확도를 크게 떨어뜨리지 않으면서 IIoT 장치와 엣지 서버 간의 데이터 전송을 줄이기 위해.
• 계산 자원이 제한된 IIoT 장치에 적합한 트래픽 인지 기능을 갖춘 경량 솔루션을 개발하기 위해.
• 새로운 전송 계층을 통해 동적 트래픽 감소를 통한 모델 슬라이싱의 종단 간 최적화를 가능하게 하기 위해.
• 실제 네트워크 조건에서 실생활 생산 수준의 DNN에 대해 프레임워크를 검증하기 위해.

제안 방법

• DNN 슬라이스 사이에 데이터 전송을 최적화하는 전송 계층(TL)을 도입하여 특징 맵을 압축하고 복원한다.
• 저연산 능력을 갖춘 IIoT 장치에 최적화된 경량 다운/업샘플링 신경망을 설계한다.
• TL의 영향을 고려해 트래픽 감소를 반영한 슬라이싱 지점을 재최적화하는 Scission 기반 도구인 ScissionTL을 개발한다.
• SGD를 사용한 미세조정을 통해 TL 포함 DNN 슬라이스(TLModel)를 생성하고 재학습하는 프리프로세서를 활용한다.
• 최소한의 지연으로 IIoT 장치와 엣지에 DNN 슬라이스를 배포하기 위해 오프로더를 활용한다.
• 장치, 엣지, 클라우드에서의 실측 벤치마킹을 수행하여 다양한 네트워크 조건에서 최적의 슬라이싱 지점을 결정한다.

실험 결과

연구 질문

• RQ1 경량이고 통합된 전송 계층은 정확도 손실을 크게 유발하지 않으면서 분산 DNN 추론에서 데이터 전송을 줄일 수 있는가?
• RQ2 자원이 제한된 IIoT 환경에서 TL의 포함 여부가 최적 슬라이싱 지점 선택에 미치는 영향은 어떠한가?
• RQ3 TL은 로컬 실행과 기존 모델 슬라이싱 기법 대비 얼마나 지연을 향상시키는가?
• RQ4 실생활 네트워크 조건에서 대규모 생산 수준의 DNN에 적용했을 때 TL은 수용 가능한 정확도를 유지하는가?
• RQ5 이 프레임워크는 다양한 DNN 아키텍처와 네트워크 대역폭에 일반화 가능한가?

주요 결과

• ScissionLite는 IIoT 장치에서 로컬 실행 대비 추론 지연을 최대 16배 감소시킨다.
• 동일한 조건에서 최신 기술 대비 2.8배의 성능 향상을 달성한다.
• TL로 인한 정확도 저하가 매우 미미하여 ImageNet 상위 5개 정확도 기준 0.9%에서 1.4% 수준이다.
• 전송 계층은 거의 무시할 수 없는 계산 오버헤드를 유발하여 성능 제한이 있는 IIoT 장치에 적합하다.
• 낮은 네트워크 대역폭(예: 30 Mbps)에서도 안정적인 성능을 유지하여 변동성이 큰 네트워크 조건에 대한 강건성을 입증한다.
• ScissionTL은 트래픽 감소를 고려해 Scission보다 이른 슬라이싱 지점을 식별함으로써 TL의 트래픽 인지 최적화 기능의 효과를 입증한다.