[논문 리뷰] ActiveHARNet: Towards On-Device Deep Bayesian Active Learning for Human Activity Recognition

Gautham Krishna Gudur, Prahalathan Sundaramoorthy외 1명|arXiv (Cornell University)|2019. 05. 31.

Context-Aware Activity Recognition Systems참고 문헌 20인용 수 11

한 줄 요약

ActiveHARNet는 몽테 카를로 드롭아웃을 활용한 불확실성 추정을 위한 딥 에너지 모델을 사용하여 실시간 웨어러블 센서 데이터에 대한 자원 효율적이고 디바이스 내부에서 수행되는 베이지안 주도 학습 프레임워크를 제안한다. 이는 확률적 추정 기반의 정보성 높은 샘플 선택을 통해 레이블링 수요를 최소화하면서도 점진적 학습을 가능하게 하여, 웨어러블 HAR 및 추락 감지 데이터셋에서 높은 정확도를 유지하면서도 최소 60% 이상의 레이블링 감소를 달성한다.

ABSTRACT

Various health-care applications such as assisted living, fall detection etc., require modeling of user behavior through Human Activity Recognition (HAR). HAR using mobile- and wearable-based deep learning algorithms have been on the rise owing to the advancements in pervasive computing. However, there are two other challenges that need to be addressed: first, the deep learning model should support on-device incremental training (model updation) from real-time incoming data points to learn user behavior over time, while also being resource-friendly; second, a suitable ground truthing technique (like Active Learning) should help establish labels on-the-fly while also selecting only the most informative data points to query from an oracle. Hence, in this paper, we propose ActiveHARNet, a resource-efficient deep ensembled model which supports on-device Incremental Learning and inference, with capabilities to represent model uncertainties through approximations in Bayesian Neural Networks using dropout. This is combined with suitable acquisition functions for active learning. Empirical results on two publicly available wrist-worn HAR and fall detection datasets indicate that ActiveHARNet achieves considerable efficiency boost during inference across different users, with a substantially low number of acquired pool points (at least 60% reduction) during incremental learning on both datasets experimented with various acquisition functions, thus demonstrating deployment and Incremental Learning feasibility.

연구 동기 및 목표

• 디바이스 내부에서 실시간 웨어러블 센서 데이터의 대량 레이블링 문제를 해결하기 위해.
• 초기 재학습 없이도 지속적인 모델 적응을 가능하게 하기 위해.
• 불확실성 인식 기반 주도 학습을 통해 유의미한 데이터 포인트만 선택하여 레이블링 부담을 줄이기 위해.
• 스마트폰과 스마트워치와 같은 자원 제약이 있는 엣지 디바이스에 경량이고 효율적인 베이지안 딥 러닝 모델을 구현하기 위해.
• 실세계의 개인 맞춤형 HAR 및 추락 감지 시나리오에서 주도 학습의 타당성과 성능을 평가하기 위해.

제안 방법

• 모델 불확실성 추정을 위해 몽테 카를로 드롭아웃을 활용한 베이지안 딥 에너지 모델을 사용하여 사후 분포를 근사한다.
• 정보성 높은 미레이블링 샘플을 선택하기 위해 다수의 할당 함수—Variation Ratio, BALD, MaxEntropy, Random Sampling—를 통합하여 오라클 쿼리에 활용한다.
• 신규로 확보된 레이블을 기반으로 들어오는 데이터 스트림에서 모델을 업데이트함으로써 디바이스 내부에서의 추론 및 점진적 학습을 지원한다.
• 실시간 반응성과 레이블링 효율성의 균형을 위해 시간 기반 풀링 메커니즘(예: 15분 윈도우)을 도입한다.
• 모델 추론 이전에 계산 부담을 줄이기 위해 이산 웨이블릿 변환(DWT)을 활용한 특징 추출 및 디메이션을 적용한다.
• Raspberry Pi 2와 같은 엣지 디바이스에 배포 가능하도록 모델 크기를 약 180–315 kB로 최적화하여 낮은 메모리 사용량과 지연 시간을 확보한다.

실험 결과

연구 질문

• RQ1 불확실성 추정 기반의 베이지안 주도 학습이 디바이스 내부 HAR 시스템에서 요구되는 레이블 수를 줄일 수 있는가?
• RQ2 다양한 할당 함수(예: Variation Ratio, BALD)는 모델 정확도를 유지하면서도 레이블링 노력을 최소화하는 데 얼마나 효과적인가?
• RQ3 낮은 계산 부담으로 디바이스 내부에서 점진적 학습을 효율적으로 수행할 수 있는가?
• RQ4 ActiveHARNet는 다양한 사용자와 이질적인 웨어러블 데이터셋(HHAR 및 Notch)에서 어떻게 성능을 발휘하는가?
• RQ5 엔드 디바이스에서 추론 및 할당 시간 측면에서 실시간 주도 학습의 타당성은 어떠한가?

주요 결과

• ActiveHARNet는 HHAR 및 Notch 데이터셋 전반에서 랜덤 샘플링 대비 최소 60% 이상의 할당 포인트 수 감소를 달성했다.
• Variation Ratio 할당 함수가 가장 높은 분류 효율을 보였으며, Notch 데이터셋에서 η=0.4일 때 오직 150개의 할당 윈도우로도 f1-score 0.956에 도달했다.
• Notch 데이터셋에서 모든 사용자 평균으로 η=0.4일 때 94.3%의 f1-score, η=0.6일 때 94.8%의 f1-score를 기록했으며, 기준선(92.8%) 대비 훨씬 적은 레이블링 포인트로도 뛰어난 성능을 보였다.
• Raspberry Pi 2에서 HHAR 데이터셋의 경우 윈도우당 약 14ms, Notch 데이터셋에서는 약 11ms의 추론 시간을 기록했으며, 10회의 드롭아웃 반복으로 인해 반복당 약 14초의 총 할당 시간이 소요되었다.
• 모델 크기는 Notch 데이터셋 기준 약 180 kB, HHAR 데이터셋 기준 약 315 kB로 축소되어 저자원 엣지 디바이스에 적합한 배포가 가능했다.
• Variation Ratio는 BALD 및 MaxEntropy 대비 더 빠른 수렴과 뛰어난 테스트 정확도를 보였으며, Random Sampling은 f1-score 및 수렴 속도 측면에서 가장 열 劣한 성능을 보였다.