[논문 리뷰] RDeepSense: Reliable Deep Mobile Computing Models with Uncertainty Estimations

Shuochao Yao, Yiran Zhao외 5명|arXiv (Cornell University)|2017. 09. 09.

Distributed Sensor Networks and Detection Algorithms참고 문헌 48인용 수 12

한 줄 요약

RDeepSense는 조정 가능한 적절한 점수 규칙과 드롭아웃 기반 베이지안 근사법을 활용하여 자원 제약이 있는 모바일 및 임베디드 장치에서 계산적으로 효율적인 딥러닝 프레임워크를 제공함으로써 예측 불확실성 추정을 잘 校정된 상태로 제공한다. 이는 최신 기술 대비 최대 90% 낮은 에너지 소비를 달성하면서도 높은 모델 정확도와 뛰어난 불확실성 校정 능력을 유지한다.

ABSTRACT

Recent advances in deep learning have led various applications to unprecedented achievements, which could potentially bring higher intelligence to a broad spectrum of mobile and ubiquitous applications. Although existing studies have demonstrated the effectiveness and feasibility of running deep neural network inference operations on mobile and embedded devices, they overlooked the reliability of mobile computing models. Reliability measurements such as predictive uncertainty estimations are key factors for improving the decision accuracy and user experience. In this work, we propose RDeepSense, the first deep learning model that provides well-calibrated uncertainty estimations for resource-constrained mobile and embedded devices. RDeepSense enables the predictive uncertainty by adopting a tunable proper scoring rule as the training criterion and dropout as the implicit Bayesian approximation, which theoretically proves its correctness.To reduce the computational complexity, RDeepSense employs efficient dropout and predictive distribution estimation instead of model ensemble or sampling-based method for inference operations. We evaluate RDeepSense with four mobile sensing applications using Intel Edison devices. Results show that RDeepSense can reduce around 90% of the energy consumption while producing superior uncertainty estimations and preserving at least the same model accuracy compared with other state-of-the-art methods.

연구 동기 및 목표

• 모바일 및 임베디드 응용 프로그램을 위한 딥뉴럴넷에서 신뢰할 수 있는 불확실성 추정의 부족을 해결하기 위해.
• 모델 복잡도나 계산 오버헤드를 증가시키지 않으면서도 수학적으로 탄탄한, 잘 校정된 예측 불확실성 추정을 제공하기 위해.
• 모바일 센싱 워크로드에서 불확실성 추정을 위한 추론 에너지 소비를 줄이기 위해.
• 에너지 제약이 있는 장치, 예를 들어 Intel Edison와 같은 곳에서 불확실성 인식 딥러닝의 실용적 구현을 가능하게 하기 위해.
• 불확실성 추정을 표준 딥러닝 파이프라인에 최소한의 변경으로 달성할 수 있음을 입증하기 위해.

제안 방법

• RDeepSense는 평균 및 분산 예측을 균형 있게 유지하여 잘 校정된 불확실성 추정을 보장하기 위해 훈련 목적으로 조정 가능한 적절한 점수 규칙을 사용한다.
• 추론 중 드롭아웃을 적용하여 암묵적인 베이지안 근사를 구현함으로써, 모델 앙상블이나 샘플링 없이도 불확실성 추정이 가능해진다.
• 프레임워크는 계산 비용을 줄이기 위해 몬테카를로 샘플링을 효율적인 예측 분포 추정으로 대체한다.
• 이 방법은 이론적으로 탄탄하며, RDeepSense가 베이지안 프레임워크 하에서 통계 모델과 동치임을 증명한다.
• 손실 함수 내의 하이퍼파rameter α는 예측 정확도와 불확실성 校정 사이의 트레이드오프를 제어한다.
• 이 방법은 완전히 연결된 네트워크를 대상으로 설계되었지만, 컨볼루션 및 순환 드롭아웃을 사용하여 CNN 및 RNN으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 최소한의 계산 오버헤드로 모바일 및 임베디드 장치에서 잘 校정된 불확실성 추정을 제공할 수 있는가?
• RQ2 손실 함수 내 하이퍼파rameter α의 선택이 불확실성 校정 및 예측 정확도에 어떤 영향을 미치는가?
• RQ3 몬테카를로 샘플링이나 모델 앙상블 없이도 드롭아웃 기반 베이지안 근사가 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ4 표준 추론 대비 거의 에너지 비용 증가 없이 고품질의 불확실성 추정을 달성할 수 있는가?
• RQ5 에너지 효율성과 校정 품질 측면에서 RDeepSense는 최신 기술 대비 어떻게 비교되는가?

주요 결과

• RDeepSense는 Intel Edison 장치에서 최신 기술 대비 약 90% 낮은 에너지 소비를 기록한다.
• 최적의 校정 곡선에서의 최소 탈진 면적을 측정함으로써, 이 방법은 뛰어난 불확실성 校정 성능을 달성한다.
• 하이퍼파rameter α를 증가시키면 불확실성 校정이 향상되지만, 음의 로그우도는 약간 증가하여, 校정과 우도 사이의 트레이드오프를 확인한다.
• 오류 예측의 음의 평균 엔트로피는 α가 증가함에 따라 증가하여 잘못된 예측에 대한 더 나은 불확실성 정량화를 확인한다.
• RDeepSense는 기준 방법과 동일한 최소한의 모델 정확도를 유지하면서도 고품질의 불확실성 추정을 제공한다.
• 이 프레임워크는 통계 모델과 이론적으로 동치이며, 이는 신뢰성과 해석 가능성의 유효성을 검증한다.