[논문 리뷰] Distributed Deep Neural Networks over the Cloud, the Edge and End Devices

Surat Teerapittayanon, Bradley McDanel외 1명|arXiv (Cornell University)|2017. 09. 06.

Advanced Neural Network Applications참고 문헌 16인용 수 73

한 줄 요약

DDNNs는 단일 DNN을 엔드 디바이스, 에지/포그, 클라우드에 분산시켜 현지 빠른 추론, 센서 융합 및 클라우드 통신 감소를 가능하게 하며, 엔드-투-엔드 학습을 함께 수행한다.

ABSTRACT

We propose distributed deep neural networks (DDNNs) over distributed computing hierarchies, consisting of the cloud, the edge (fog) and end devices. While being able to accommodate inference of a deep neural network (DNN) in the cloud, a DDNN also allows fast and localized inference using shallow portions of the neural network at the edge and end devices. When supported by a scalable distributed computing hierarchy, a DDNN can scale up in neural network size and scale out in geographical span. Due to its distributed nature, DDNNs enhance sensor fusion, system fault tolerance and data privacy for DNN applications. In implementing a DDNN, we map sections of a DNN onto a distributed computing hierarchy. By jointly training these sections, we minimize communication and resource usage for devices and maximize usefulness of extracted features which are utilized in the cloud. The resulting system has built-in support for automatic sensor fusion and fault tolerance. As a proof of concept, we show a DDNN can exploit geographical diversity of sensors to improve object recognition accuracy and reduce communication cost. In our experiment, compared with the traditional method of offloading raw sensor data to be processed in the cloud, DDNN locally processes most sensor data on end devices while achieving high accuracy and is able to reduce the communication cost by a factor of over 20x.

연구 동기 및 목표

• DNN 추론을 위해 엔드 디바이스, 에지, 클라우드로 구성된 계층적 분산 컴퓨팅 설정의 활용을 촉진한다.
• 계층 간에 단일 DNN을 분할하고 공동으로 학습시키는 프레임워크를 개발한다.
• 계층 간 통신을 최소화하면서 자동 센서 융합 및 내결함성을 가능하게 한다.
• 분산 추론이 정확도를 유지하거나 향상시키면서 데이터 전송 비용을 줄일 수 있음을 보여준다.

제안 방법

• 단일 DNN의 섹션을 분산 컴퓨팅 계층(엔드 디바이스, 에지, 클라우드)에 매핑한다.
• 장치의 하위 계층과 클라우드의 상위 계층이 최대한의 정확도와 최소 통신을 달성하도록 나뉜 DNN을 공동으로 학습시킨다.
• 로컬/에지/클라우드 종료를 가능하게 하기 위해 엔트로피 기반 신뢰 임계치를 가진 다중 종료점(얼리 엑싯)을 도입한다.
• 다수 엔드 디바이스의 출력을 결합하기 위한 집계 방식(맥스 풀링, 평균 풀링, 연결(concatenation))을 제시한다.
• 다양한 종료 임계치 및 집계 방식에서 통신 비용과 정확도를 분석한다.
• 엔드 디바이스 메모리 제약에 맞추고 계층 간 엔드투엔드 학습을 가능하게 하기 위해 이진/임베디드 BN 블록을 구현한다.

실험 결과

연구 질문

• RQ1 단일 DNN을 엔드 디바이스, 에지, 클라우드에 걸쳐 분할하고 학습시켜 로컬 추론과 클라우드 기반 보정을 가능하게 하려면 어떻게 해야 하는가?
• RQ2 다수 엔드 디바이스의 출력을 가장 잘 융합하여 분류 정확도와 내결함성을 극대화하기 위한 집계 전략은 무엇인가?
• RQ3 엔트로피 기반 종료 메커니즘이 분산 DNN에서 로컬 대기 시간, 통신 비용, 전체 정확도를 어떻게 균형 있게 조정하는가?
• RQ4 여러 엔드 디바이스에 걸친 DDNN 확장과 에지 계층의 도입이 정확도와 통신 비용에 미치는 영향은 무엇인가?
• RQ5 DDNN이 클라우드로의 원시 데이터 오프로드에 비해 데이터 전송을 줄이면서 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• 엔드 디바이스, 에지, 클라우드에 걸쳐 엔드-투-엔드 학습 및 분할이 가능하며 로컬 종료와 클라우드 기반 보정을 가능하게 한다.
• 로컬 앵커 및 맥스 풀링 로컬 앵커와 맥스 풀링 클라우드 앵커(MP-CC)를 사용한 것이 다중 기기 데이터셋에서 최고의 로컬 및 클라우드 정확도(각 98%)를 달성했다.
• 로컬 종료에서 엔트로피 임계치가 약 0.8일 때 전체 정확도 97%를 달성하면서 로컬 통신을 샘플당 약 62바이트로 감소시킨다.
• 실험에서 MP-CC 집계 방식이 로컬 및 클라우드 종료 모두에서 다른 스킴을 일관되게 능가했다.
• 이 방법은 원시 센서 데이터를 클라우드로 오프로드하는 것에 비해 통신 비용을 20배 이상 감소시키면서도 높은 정확도를 유지한다.
• 프레임워크는 자동 센서 융합 및 내결함성을 지원하며 여러 엔드 디바이스가 상실될 때만 성능 저하를 보인다.