[논문 리뷰] The Benefit of the Doubt: Uncertainty Aware Sensing for Edge Computing Platforms

Lorena Qendro, Jagmohan Chauhan외 2명|arXiv (Cornell University)|2021. 02. 11.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 4

한 줄 요약

이 논문은 엣지 디바이스에서 딥 뉴럴 네트워크의 불확실성 인식 추론을 위한 계산적으로 효율적인 프레임워크를 제안한다. 계층별 분포 근사 기법을 활용해 단일 순방향 전파를 통해 예측 불확실성을 추정함으로써 재학습이나 다중 추론 실행이 필요 없도록 한다. 최신 기술 대비 에너지 소비를 최대 28배 낮추고 정확도를 16% 향상시키며, 메모리 오버헤드는 최소한으로 유지한다.

ABSTRACT

Neural networks (NNs) lack measures of "reliability" estimation that would enable reasoning over their predictions. Despite the vital importance, especially in areas of human well-being and health, state-of-the-art uncertainty estimation techniques are computationally expensive when applied to resource-constrained devices. We propose an efficient framework for predictive uncertainty estimation in NNs deployed on embedded edge systems with no need for fine-tuning or re-training strategies. To meet the energy and latency requirements of these embedded platforms the framework is built from the ground up to provide predictive uncertainty based only on one forward pass and a negligible amount of additional matrix multiplications with theoretically proven correctness. Our aim is to enable already trained deep learning models to generate uncertainty estimates on resource-limited devices at inference time focusing on classification tasks. This framework is founded on theoretical developments casting dropout training as approximate inference in Bayesian NNs. Our layerwise distribution approximation to the convolution layer cascades through the network, providing uncertainty estimates in one single run which ensures minimal overhead, especially compared with uncertainty techniques that require multiple forwards passes and an equal linear rise in energy and latency requirements making them unsuitable in practice. We demonstrate that it yields better performance and flexibility over previous work based on multilayer perceptrons to obtain uncertainty estimates. Our evaluation with mobile applications datasets shows that our approach not only obtains robust and accurate uncertainty estimations but also outperforms state-of-the-art methods in terms of systems performance, reducing energy consumption (up to 28x), keeping the memory overhead at a minimum while still improving accuracy (up to 16%).

연구 동기 및 목표

• 자원 제약이 있는 엣지 디바이스에 배포된 딥 러닝 모델에서 신뢰할 수 있는 불확실성 추정을 가능하게 하기 위해.
• 임베디드 시스템에서 몬테카를로 드롭아웃 및 딥 앙상블와 같은 기존 불확실성 추정 기법의 높은 계산 비용 문제를 해결하기 위해.
• 재학습이나 피지터링 없이 기존에 학습된 모델만을 사용해 불확실성 추정을 제공하기 위해.
• 이해 가능성과 신뢰성이 중요한 모바일 및 임베디드 애플리케이션의 분류 작업을 지원하기 위해.
• 기존의 불확실성 인식 추론 방법 대비 에너지, 지연 시간, 메모리 오버헤드를 줄이기 위해.

제안 방법

• 프레임워크는 드롭아웃 학습과 베이지안 신경망에서의 근사 베이지안 추론 간 이론적 동치성을 활용한다.
• 특징 맵의 가우시안 근사를 사용해 결정론적 컨볼루션 레이어를 확률적 레이어로 변환하는 계층별 분포 근사를 도입한다.
• 불확실성이 단일 순방향 전파 방식으로 네트워크를 거쳐 전파되며, 다중 추론 실행을 피한다.
• 각 레이어당 추가적인 행렬 곱셈이 극히 소수에 불과해 계산 오버헤드가 매우 낮다.
• 기존에 드롭아웃을 사용해 학습된 어떤 사전 학습된 CNN이라도 재학습 없이 호환 가능하다.
• 각 레이어에서 평균과 분산을 사용해 예측 분포를 모델링함으로써 추론 시 불확실성 정량화가 가능하다.

실험 결과

연구 질문

• RQ1 기존에 학습된 딥 뉴럴 네트워크에서 재학습 없이 엣지 디바이스에서 효율적인 예측 불확실성 추정이 가능한가?
• RQ2 실시간, 저전력 임베디드 시스템에 대해 불확실성 추정을 실용적으로 구현할 수 있는가?
• RQ3 에지 AI에서 불확실성 추정 정확도와 시스템 효율성(에너지, 지연 시간, 메모리) 간의 상충 관계는 어떠한가?
• RQ4 단일 순방향 전파 방법이 몽테카를로 드롭아웃과 같은 다중 전파 기법보다 정확도와 효율성 면에서 뛰어나게 구현될 수 있는가?
• RQ5 이러한 방법은 GPU가 없는 플랫폼을 포함한 다양한 임베디드 플랫폼에서 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 몽테카를로 드롭아웃 대비 최대 28배, 딥 앙상블 대비 최대 8배의 에너지 소비 감소를 기록했다.
• 최신 기술 대비 최대 16% 높은 정확도를 달성하면서도 메모리 오버헤드는 최소한으로 유지(최대 5% 증가).
• 이 프레임워크는 극히 미미한 런타임 오버헤드로 불확실성 추정을 가능하게 하여 자원이 제한된 기기에서도 적합하다.
• NVIDIA Jetson Nano에서 CPU 전용 구성에서도 효율적으로 실행되어 저성능 엣지 하드웨어에서도 구현 가능함을 입증했다.
• ApDeepSense 및 기타 베이스라인 대비 지연 시간과 에너지 효율성 면에서 뛰어나, 최신 기술 중 하나보다 20% 빠른 성능을 기록했다.
• 다양한 모바일 및 임베디드 데이터셋에서 강력하고 안정적인 불확실성 추정을 유지하며 일반화 능력과 신뢰성을 입증했다.