[논문 리뷰] DeepWear: Adaptive Local Offloading for On-Wearable Deep Learning

Mengwei Xu, Feng Qian외 4명|arXiv (Cornell University)|2017. 12. 01.

IoT and Edge/Fog Computing참고 문헌 51인용 수 4

한 줄 요약

DeepWear는 블루투스를 통해 쌍점된 휴대형 기기로 웨어러블 기기에서 딥러닝(DL) 추론을 적응형으로 국소적으로 오프로딩할 수 있도록 해주는 경량이며 맥락 인식 프레임워크입니다. 이는 성능 향상과 에너지 소비 감소를 동시에 달성합니다. 지능적인 모델 분할, 파ip라이닝 및 실시간 워크로드 인식을 통해 로컬 실행 대비 최대 5.08배의 성능 향상과 85.5%의 에너지 절감을 달성합니다.

ABSTRACT

Due to their on-body and ubiquitous nature, wearables can generate a wide range of unique sensor data creating countless opportunities for deep learning tasks. We propose DeepWear, a deep learning (DL) framework for wearable devices to improve the performance and reduce the energy footprint. DeepWear strategically offloads DL tasks from a wearable device to its paired handheld device through local network. Compared to the remote-cloud-based offloading, DeepWear requires no Internet connectivity, consumes less energy, and is robust to privacy breach. DeepWear provides various novel techniques such as context-aware offloading, strategic model partition, and pipelining support to efficiently utilize the processing capacity from nearby paired handhelds. Deployed as a user-space library, DeepWear offers developer-friendly APIs that are as simple as those in traditional DL libraries such as TensorFlow. We have implemented DeepWear on the Android OS and evaluated it on COTS smartphones and smartwatches with real DL models. DeepWear brings up to 5.08X and 23.0X execution speedup, as well as 53.5% and 85.5% energy saving compared to wearable-only and handheld-only strategies, respectively.

연구 동기 및 목표

• 자원이 제한된 상용 구매형(COTS) 웨어러블 기기에서 계산 비용이 큰 딥러닝 워크로드를 실행하는 데 도전하는 문제를 해결합니다.
• 인터넷 연결에 의존하지 않으며 개인정보 위험을 줄이기 위해 클라우드 기반 오프로딩의 한계를 극복합니다.
• 쌍점된 휴대형 기기(예: 스마트폰)의 근접성과 계산 능력을 활용하여 성능과 에너지 효율성을 향상시킵니다.
• 기존 딥러닝 워크플로우에 쉽게 통합될 수 있도록 실용적이고 개발자 友好的인 프레임워크를 개발합니다.
• 실시간 시스템 및 네트워크 조건을 기반으로 투명하고 적응적인 오프로딩 결정을 내려 지연 시간, 에너지 소비, 자원 사용을 균형 있게 조절합니다.

제안 방법

• 기기 부하, 네트워크 조건, 애플리케이션 지연 시간 요구 사항을 동적으로 평가하여 실시간 오프로딩 결정을 내리는 맥락 인식 오프로딩 스케줄링을 도입합니다.
• 딥러닝 모델을 웨어러블 기기와 쌍점된 휴대형 기기에 배분하는 하위 모델로 분할하는 히우리스틱 기반의 모델 분할 알고리즘을 적용하여 데이터 전송 오버헤드를 최소화합니다.
• 모델 내 최적의 분할 지점 식별을 통해 부분적 오프로딩을 지원하여 중간 텐서 크기와 통신 지연을 줄입니다.
• 웨어러블 기기와 휴대형 기기 간의 계산과 데이터 전송을 겹치는 파이프라인을 구현하여 종단 간 처리량을 향상시킵니다.
• 실행 시간 오버헤드가 크지 않은 경량 온라인 예측 모델을 사용하여 지연 시간과 에너지 소비를 안내함으로써 오프로딩 결정을 지원합니다.
• TensorFlow 유사 API를 제공하는 사용자 영역 라이브러리로 배포되어 안드로이드에서 기존 딥러닝 애플리케이션에 쉽게 통합될 수 있습니다.

실험 결과

연구 질문

• RQ1 클라우드 연결에 의존하지 않고 근접한 휴대형 기기로 웨어러블 기기에서 딥러닝 추론을 효율적으로 오프로딩할 수 있는 방법은 무엇인가요?
• RQ2 웨어러블 기기에서 로컬 실행하는 것과 비교해 쌍점된 휴대형 기기에 딥러닝 작업을 오프로딩할 경우 성능와 에너지 소비의 상호 트레이드오프는 어떻게 되나요?
• RQ3 통신 오버헤드를 최소화하면서도 기기 간 계산 부하를 균형 있게 분배하기 위해 모델 분할을 어떻게 지능적으로 최적화할 수 있나요?
• RQ4 맥락 인식 스케줄링이 실제 웨어러블 환경에서 종단 간 지연 시간과 에너지 효율성 향상에 얼마나 기여할 수 있나요?
• RQ5 오프로딩 프레임워크의 실행 시간 오버헤드는 어느 정도이며, 功能을 손상시키지 않으면서 이를 어떻게 최소화할 수 있나요?

주요 결과

• DeepWear는 웨어러블 기기에서만 추론을 실행하는 경우 대비 최대 5.08배의 성능 향상과 53.5%의 에너지 절감을 달성합니다.
• 모든 모델을 단독으로 휴대형 기기에서 실행하는 경우 대비 최대 23.0배의 성능 향상과 85.5%의 에너지 절감을 기록합니다.
• DeepWear의 실행 시간 오버헤드는 매우 미미하며, 활성 블루투스 프로빙을 사용할 경우 시스템 프로파일링으로 인한 에너지 오버헤드가 5% 미만입니다.
• 모델 분할 히우리스틱은 n(모델 노드 수)에 대해 거의 O(n) 수준의 계산 복잡도로 감소시켜 확장성을 보장합니다.
• 효율적인 데이터 전송과 파이프라인을 통해 블루투스 기반 통신의 오버헤드가 낮아, 총 계산 시간의 0.49%에서 4.21% 수준에 머뭅니다.
• LG Urbane, Galaxy S2, Nexus 6 등 다양한 기기와 GoogLeNet, TextRNN 등 인기 있는 딥러닝 모델에서 프레임워크의 강건성을 입증했습니다.