[논문 리뷰] Conditionally Deep Hybrid Neural Networks Across Edge and Cloud

Yinghan Long, Indranil Chakraborty외 1명|arXiv (Cornell University)|2020. 05. 21.

Advanced Neural Network Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 엣지와 클라우드 시스템 간에 추론을 분산시키기 위해 엣지에서 양자화된 레이어와 클라우드에서 정밀도가 높은 레이어를 사용하는 조건부 딥 하이브리드 신경망을 제안한다. 높은 신뢰도 예측을 위한 일찍 종료하는 전략을 적용함으로써, 모델은 CIFAR-10에서 최대 5.5배, CIFAR-100에서 최대 4.8배의 에너지 소비를 절감하면서 정확도 손실을 최소화하며, 각각 65%와 52%의 추론을 엣지에서 처리한다.

ABSTRACT

The pervasiveness of "Internet-of-Things" in our daily life has led to a recent surge in fog computing, encompassing a collaboration of cloud computing and edge intelligence. To that effect, deep learning has been a major driving force towards enabling such intelligent systems. However, growing model sizes in deep learning pose a significant challenge towards deployment in resource-constrained edge devices. Moreover, in a distributed intelligence environment, efficient workload distribution is necessary between edge and cloud systems. To address these challenges, we propose a conditionally deep hybrid neural network for enabling AI-based fog computing. The proposed network can be deployed in a distributed manner, consisting of quantized layers and early exits at the edge and full-precision layers on the cloud. During inference, if an early exit has high confidence in the classification results, it would allow samples to exit at the edge, and the deeper layers on the cloud are activated conditionally, which can lead to improved energy efficiency and inference latency. We perform an extensive design space exploration with the goal of minimizing energy consumption at the edge while achieving state-of-the-art classification accuracies on image classification tasks. We show that with binarized layers at the edge, the proposed conditional hybrid network can process 65% of inferences at the edge, leading to 5.5x computational energy reduction with minimal accuracy degradation on CIFAR-10 dataset. For the more complex dataset CIFAR-100, we observe that the proposed network with 4-bit quantization at the edge achieves 52% early classification at the edge with 4.8x energy reduction. The analysis gives us insights on designing efficient hybrid networks which achieve significantly higher energy efficiency than full-precision networks for edge-cloud based distributed intelligence systems.

연구 동기 및 목표

• 에너지 제약이 있는 엣지 디바이스에 대규모 딥 러닝 모델을 구현하는 데 도전하는 데에 대비하기 위해.
• 안개 컴퓨팅 환경에서 엣지와 클라우드 간의 효율적인 워크로드 분배를 가능하게 하기 위해.
• 최신 분류 정확도를 유지하면서 엣지에서의 에너지 소비를 최소화하기 위해.
• 하이브리드 네트워크의 최적의 양자화 비트 깊이와 레이어 분포 구성 탐색하기 위해.

제안 방법

• 엣지에 양자화된(1비트, 2비트, 4비트) 레이어를 배치하고 클라우드에 정밀도가 높은 레이어를 사용한다.
• 양자화된 레이어 이후에 일찍 종료 기능을 도입하여 확신 있는 샘플이 엣지에서 종료되도록 한다.
• 조건부 딥 러닝을 활용해 필요할 경우에만 더 깊은 클라우드 기반 레이어를 활성화한다.
• 비트 깊이, 양자화된 레이어 수, 일찍 종료 위치를 포함한 설계 공간 탐색을 수행한다.
• CIFAR-10과 CIFAR-100에서 광범위한 실험을 통해 에너지 효율성과 정확도 간의 트레이드오���을 최적화한다.
• 일찍 종료 결정의 강건성을 향상시키기 위해 하이브리드 네트워크를 공동 최적화 방식으로 훈련한다.

실험 결과

연구 질문

• RQ1 에너지 소비를 최소화하기 위해 엣지에서의 양자화 비트 깊이와 양자화된 레이어 수 사이의 최적 균형은 무엇인가?
• RQ2 일찍 종료 위치가 하이브리드 엣지-클라우드 네트워크의 추론 정확도와 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 일찍 종료 전략이 모델 정확도를 떨어뜨리지 않으면서 얼마나 많은 계산 에너지 소비를 줄일 수 있는가?
• RQ4 네트워크 복잡도(예: CIFAR-100 대비 CIFAR-10)는 일찍 종료와 양자화의 효과성에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 제안된 네트워크는 1비트 양자화를 통해 65%의 추론이 엣지에서 종료되며, 최소한의 정확도 손실로 5.5배의 에너지 절감을 달성한다.
• CIFAR-100에서는 엣지에서 4비트 양자화를 적용해 52%의 샘플이 일찍 종료되며, 결과적으로 4.8배의 에너지 절감을 이룬다.
• ResNet-32에 16개의 이진 레이어와 14개의 정밀도 높은 레이어를 사용하면 CIFAR-10에서 성능 대비 에너지 효율성 최적화가 달성된다.
• 다중 일찍 종료 기능(예: 두 개)을 추가해도 클라우드 에너지 소비에 큰 영향을 주지 않으며, 훈련 복잡도 증가로 인해 성능 저하가 발생할 수 있다.
• 일찍 종료 레이어의 파라미터 수가 강건성에 영향을 미치며, 더 큰 종료 레이어(예: 24개의 이진 레이어 이후)는 능력이 부족해 일찍 종료 비율이 감소할 수 있다.
• 에너지 절감은 주로 클라우드 측에서 발생하며, 이는 정밀도가 높은 레이어가 이진화된 레이어보다 훨씬 더 많은 에너지를 소비하기 때문이다.