[논문 리뷰] Musical Chair: Efficient Real-Time Recognition Using Collaborative IoT Devices

Ramyad Hadidi, Jiashen Cao외 3명|arXiv (Cornell University)|2018. 02. 05.

Human Pose and Action Recognition참고 문헌 31인용 수 29

한 줄 요약

Musical Chair는 라즈베리 파이와 같은 자원 제약이 있는 IoT 기기들을 활용해 협업형, 프라이버시 보장형, 실시간 딥 뉴럴 네트워크(DNN) 추론 시스템을 제안한다. 장치 간 데이터 병렬성과 모델 병렬성을 동적으로 조합함으로써, Tegra TX2와 유사한 성능을 달성하면서도 에너지 소비를 절반으로 줄여, 클라우드 의존 없이 효율적인 현장 내 인식을 가능하게 한다.

ABSTRACT

The prevalence of Internet of things (IoT) devices and abundance of sensor data has created an increase in real-time data processing such as recognition of speech, image, and video. While currently such processes are offloaded to the computationally powerful cloud system, a localized and distributed approach is desirable because (i) it preserves the privacy of users and (ii) it omits the dependency on cloud services. However, IoT networks are usually composed of resource-constrained devices, and a single device is not powerful enough to process real-time data. To overcome this challenge, we examine data and model parallelism for such devices in the context of deep neural networks. We propose Musical Chair to enable efficient, localized, and dynamic real-time recognition by harvesting the aggregated computational power from the resource-constrained devices in the same IoT network as input sensors. Musical chair adapts to the availability of computing devices at runtime and adjusts to the inherit dynamics of IoT networks. To demonstrate Musical Chair, on a network of Raspberry PIs (up to 12) each connected to a camera, we implement a state-of-the-art action recognition model for videos and two recognition models for images. Compared to the Tegra TX2, an embedded low-power platform with a six-core CPU and a GPU, our distributed action recognition system achieves not only similar energy consumption but also twice the performance of the TX2. Furthermore, in image recognition, Musical Chair achieves similar performance and saves dynamic energy.

연구 동기 및 목표

• 개별적으로 충분한 계산 능력을 갖추지 못한 자원 제약이 있는 IoT 기기에서 실시간 DNN 추론을 수행하는 데 도전하는 것.
• DNN 처리에 대한 클라우드 서비스 의존도를 제거함으로써 사용자 프라이버시를 강화하고 네트워크 부하를 감소시키는 것.
• 실시간으로 다수의 저전력 IoT 기기의 집계된 계산 능력을 활용하는 동적이고 적응형 시스템을 설계하는 것.
• 이종 IoT 기기 간 데이터 병렬성과 모델 병렬성을 활용한 협업형 DNN 추론의 타당성과 효율성을 평가하는 것.
• 저비용 IoT 기기의 분산 시스템이 Tegra TX2와 같은 고성능 임베디드 플랫폼의 성능을 따라하거나 초월할 수 있는지 보여주는 것.

제안 방법

• Musical Chair는 실시간 가용성과 계산 능력을 기반으로 DNN 추론 작업을 여러 IoT 기기 간에 동적으로 로드 밸런싱하여 분배한다.
• 컨볼루션 레이어에 대해 데이터 병렬성을 적용하여 독립적인 입력 배치를 장치 간 병렬 처리한다.
• 완전히 연결된 레이어에 대해 모델 병렬성을 적용하여 단일 레이어의 계산을 여러 장치에 분할함으로써 메모리 제약을 관리한다.
• 장치의 메모리 및 계산 한계를 기반으로 데이터 병렬성과 모델 병렬성을 자동으로 선택하여 지연 시간과 에너지 효율성 최적화를 이룬다.
• TensorFlow Lite와 같은 최적화된 추론 라이브러리와 통합하여 각 장치의 계산 및 메모리 오버헤드를 줄인다.
• 장치의 이탈과 네트워크 동적 변화에 대응하는 런타임 적응 기능을 지원하여 실제 IoT 환경에서의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 저비용이고 자원 제약이 있는 IoT 기기 네트워크가 클라우드에 의존하지 않고 실시간 DNN 추론을 협업적으로 수행할 수 있는가?
• RQ2 이종 IoT 기기에서 성능과 에너지 효율성을 최적화하기 위해 데이터 병렬성과 모델 병렬성을 어떻게 동적으로 조합할 수 있는가?
• RQ3 고성능 임베디드 플랫폼인 Tegra TX2와 비교해 분산 DNN 시스템의 성능과 에너지 효율성은 어떠한가?
• RQ4 실시간 추론 중 장치 가용성과 네트워크 조건의 동적 변화에 시스템은 어떻게 대응하는가?
• RQ5 이러한 시스템은 계산 부담을 최소화하면서도 높은 정확도의 인식(예: 동작 인식 및 이미지 인식)을 달성할 수 있는가?

주요 결과

• Musical Chair는 분산 동작 인식 작업에서 Tegra TX2의 성능을 두 배로 끌어올리며 유사한 에너지 소비를 기록했다.
• 이미지 인식 작업에서는 Tegra TX2와 동일한 성능을 달성하면서도 동적 에너지 소비를 절감하여 에너지 효율성을 입증했다.
• 시스템은 최대 12대의 라즈베리 파이 기기로 확장되어 실시간 추론에서 뛰어난 수평 확장성을 보였다.
• 데이터 병렬성과 모델 병렬성을 조합함으로써 Musical Chair는 자원 제약이 있는 기기에서 메모리 및 계산 병목 현상을 효과적으로 관리했다.
• 프레임워크는 장치 가용성과 네트워크 조건의 변화에 동적으로 적응하여 런타임 변경 상황에서도 안정된 성능을 유지했다.
• 외부 서버로의 데이터 전송을 제거함으로써 사용자 프라이버시를 보호하고 완전히 현장 내 DNN 추론을 실현했다.