[논문 리뷰] Decentralized Low-Latency Collaborative Inference via Ensembles on the Edge

May Malka, Erez Farhan외 2명|arXiv (Cornell University)|2022. 06. 07.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 낮은 지연 시간을 갖는 탈중앙화된 공동 추론 프레임워크인 엣지 앙상블(edge ensembles)을 제안한다. 이 프레임워크는 압축된 DNN과 공유되는 양자화된 특징을 사용하여 다수의 엣지 장치가 깊은 앙상블을 구성할 수 있도록 한다. 통합된 추론 규칙를 통해 다양한 국소 모델의 예측을 집계함으로써, 이 방법은 중앙집중식 DNN보다도 더 높은 정확도 향상을 달성하지만, 현실적인 네트워크 조건에서 지연 시간 오버헤드는 미미하다.

ABSTRACT

The success of deep neural networks (DNNs) is heavily dependent on computational resources. While DNNs are often employed on cloud servers, there is a growing need to operate DNNs on edge devices. Edge devices are typically limited in their computational resources, yet, often multiple edge devices are deployed in the same environment and can reliably communicate with each other. In this work we propose to facilitate the application of DNNs on the edge by allowing multiple users to collaborate during inference to improve their accuracy. Our mechanism, coined {\em edge ensembles}, is based on having diverse predictors at each device, which form an ensemble of models during inference. To mitigate the communication overhead, the users share quantized features, and we propose a method for aggregating multiple decisions into a single inference rule. We analyze the latency induced by edge ensembles, showing that its performance improvement comes at the cost of a minor additional delay under common assumptions on the communication network. Our experiments demonstrate that collaborative inference via edge ensembles equipped with compact DNNs substantially improves the accuracy over having each user infer locally, and can outperform using a single centralized DNN larger than all the networks in the ensemble together.

연구 동기 및 목표

• 자원이 제한된 엣지 장치에서 계산 능력이 제한된 환경에서 정확한 딥 뉴럴 네트워크(DNN)를 구현하는 데 도전하는 것.
• 중앙 집중형 서버나 고정된 통신 토폴로지에 의존하지 않고도 엣지 장치가 공동으로 추론 정확도를 향상시킬 수 있도록 하는 것.
• 지속적인 추론과 이웃 장치 간의 동적 협업을 지원하는 탈중앙화된 저지연 추론 프레임워크를 설계하는 것.
• 실제 엣지 네트워크에서 공동 추론이 유도하는 지연 시간 오버헤드를 정량화하고 최소화하는 것.
• 다수의 엣지 장치에 존재하는 압축되고 다양한 모델들이 함께 작동할 경우, 단일의 큰 중앙집중식 DNN을 초월하는 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 각 장치가 서로 다른 압축된 DNN을 실행하여 추론 도중에 다양성이 확보되는 탈중앙화된 엣지 앙상블 메커니즘을 사용한다.
• 대역폭을 줄이기 위해 장치 간에는 오직 양자화된 특징만 교환하며, 모든 가용 협업자로부터의 예측을 집계하는 공통의 추론 규칙을 적용한다.
• 통신 지연을 모델링하기 위해 링크 신뢰성과 채널 용량에 대해 난수 변수를 사용하며, 연결 가능성에 대한 확률적 가정을 포함한다.
• 이론적 분석을 통해 기기 가용성과 네트워크 조건의 변동을 고려한 종단 간 추론 지연의 누적분포함수를 유도한다.
• 링크 가용성이 확률 p를 가진 베르누이 과정에 의해 제어되고, 채널 용량은 누적분포함수 F_C를 가진 난수 변수로 모델링되는 확률 모델을 사용한다.
• 추론 지연은 개별 기기의 처리 지연과 통신 지연의 최댓값으로 제한되며, 지연이 특정 임계값 이하로 유지될 확률에 대한 닫힌 형태의 수식이 유도된다.

Figure 1 : DNN -based edge inference illustration.

실험 결과

연구 질문

• RQ1 탈중앙화된 엣지 장치 간 협업이 중앙 집중형 서버에 의존하지 않고도 추론 정확도를 향상시킬 수 있는가?
• RQ2 동적이고 기기 간 통신 환경에서 공동 추론이 유도하는 최소 지연 시간 오버헤드는 얼마인가?
• RQ3 압축된 DNN의 탈중앙화된 앙상블의 성능은 단일의 큰 중앙집중식 DNN과 비교해 어떻게 되는가?
• RQ4 기기 가용성과 통신 신뢰성이 종단 간 추론 지연에 미치는 영향은 무엇인가?
• RQ5 통합된 추론 규칙이 독립적으로 훈련된 다양한 모델의 예측을 효과적으로 집계할 수 있는가?

주요 결과

• 압축된 DNN만을 사용함에도 불구하고 엣지 앙상블은 국소 추론보다 훨씬 높은 추론 정확도를 달성한다. 각 모델는 단일의 큰 중앙집중식 DNN보다도 작다.
• 공동 추론 프레임워크는 엣지 앙상블에 포함된 모든 모델의 합보다 더 큰 중앙집중식 DNN와 비교해도 성능이 유사하거나 뛰어나다.
• 이론적 분석 결과, 현실적인 네트워크 가정 하에서 협업 기기 수가 증가할수록 특정 지연 임계값을 초과할 확률이 0으로 수렴함을 보여준다.
• 일반적인 네트워크 조건 하에서 협업으로 인한 지연 시간 오버헤드는 미미하며, 지연 분포는 처리 지연과 통신 지연의 최댓값으로 제한된다.
• 동적 연결성 조건에서도 프레임워크는 안정적이며, 지속적인 통신 링크가 필요 없이 국소 추론과 수요에 따른 협업을 모두 지원한다.
• 특히 링크 신뢰성과 채널 용량이 양호한 조건일수록 가용 협업 기기 수가 증가할수록 저지연 추론의 확률이 증가한다.

Figure 2 : Vector quantization layer of VQ-VAE.