[논문 리뷰] Bayesian Active Learning for Wearable Stress and Affect Detection

Abhijith Ragav, Gautham Krishna Gudur|arXiv (Cornell University)|2020. 12. 04.

Emotion and Mood Recognition참고 문헌 16인용 수 7

한 줄 요약

이 논문은 베이지안 활성 학습 프레임워크를 제안하며, 베이지안 1D-컨볼루션 신경망에서 몬테카를로 드롭아웃을 사용하여 실시간 웨어러블 스트레스 및 영향 감지에 활용한다. 드롭아웃 추론을 통한 불확실성 추정과 Variation Ratios와 같은 할당 함수를 활용함으로써, 전체 데이터 훈련과 유사한 90.38%의 정확도를 달성하면서도 풀 데이터의 60%만 레이블링된 상태에서, 라즈베리 파이 2에서 낮은 추론 지연을 유지한다.

ABSTRACT

In the recent past, psychological stress has been increasingly observed in humans, and early detection is crucial to prevent health risks. Stress detection using on-device deep learning algorithms has been on the rise owing to advancements in pervasive computing. However, an important challenge that needs to be addressed is handling unlabeled data in real-time via suitable ground truthing techniques (like Active Learning), which should help establish affective states (labels) while also selecting only the most informative data points to query from an oracle. In this paper, we propose a framework with capabilities to represent model uncertainties through approximations in Bayesian Neural Networks using Monte-Carlo (MC) Dropout. This is combined with suitable acquisition functions for active learning. Empirical results on a popular stress and affect detection dataset experimented on a Raspberry Pi 2 indicate that our proposed framework achieves a considerable efficiency boost during inference, with a substantially low number of acquired pool points during active learning across various acquisition functions. Variation Ratios achieves an accuracy of 90.38% which is comparable to the maximum test accuracy achieved while training on about 40% lesser data.

연구 동기 및 목표

• 실시간 웨어러블 헬스 모니터링 시스템에서 레이블링되지 않은 생리적 데이터의 레이블링 과제를 해결한다.
• 레이블링에 필요한 인간 오라클의 부담을 줄이기 위해, 레이블링을 위해 가장 정보가 많은 데이터 포인트만 선택한다.
• 지속적인 스트레스 및 영향 감지를 위한 불확실성 인식 딥 러닝 모델의 현장 내 구현을 가능하게 한다.
• 모바일 헬스 환경에서 다수의 할당 함수를 사용한 베이지안 활성 학습의 효과성을 평가한다.
• 저전력 임베디드 장치인 라즈베리 파이 2에서 불확실성 기반 활성 학습의 실현 가능성과 효율성을 입증한다.

제안 방법

• 예측 불확실성 추정을 위해 1D-컨볼루션 신경망(Conv1D)에 몬테카를로 드롭아웃을 적용하여 사후 분포를 근사한다.
• T=10회의 스토케스틱 전방 전파를 통한 베이지안 신경망(BNN) 추론을 통해 예측의 평균과 분산을 계산한다.
• 가장 불확실한 데이터 포인트를 선택하기 위해 다수의 할당 함수—최대 엔트로피, BALD, Variation Ratios, 무작위 샘플링—을 적용한다.
• 실시간 추론과 현장 내 활성 학습 업데이트를 위한 라즈베리 파이 2에 모델을 구현한다.
• 서버에서 사전 훈련한 모델을 임베디드 장치로 이관한 후, 각 할당 윈도우에서 최대 10에포크까지의 점진적 미세조정을 수행한다.
• 실제 데이터 흐름을 시뮬레이션하기 위해, 각 반복에서 쿼리하는 풀 윈도우 수를 제어하는 동적 할당 적응 요소 η ∈ [0,1]을 사용한다.

실험 결과

연구 질문

• RQ1 몬테카를로 드롭아웃을 사용한 베이지안 활성 학습이 정확한 스트레스 및 영향 감지에 필요한 레이블링 데이터 포인트 수를 효과적으로 줄일 수 있는가?
• RQ2 최대 엔트로피, BALD, Variation Ratios, 또는 무작위 샘플링 중 어떤 할당 함수가 최소한의 레이블링 노력으로 가장 높은 분류 정확도를 달성하는가?
• RQ3 저전력 임베디드 장치인 라즈베리 파이 2에서 불확실성 기반 활성 학습의 추론 시간과 모델 업데이트 오버헤드 측면에서 얼마나 효율적인가?
• RQ4 전체 데이터 훈련과 유사한 성능를 달성하면서도 레이블링 데이터의 일부만 사용할 경우, 베이지안 컨볼루션 신경망은 어느 정도의 성능를 보일 수 있는가?
• RQ5 불확실성 추정 기반의 현장 내 활성 학습은 실시간 모바일 헬스 응용 프로그램에서 실제로 구현 가능한가?

주요 결과

• Variation Ratios 할당 함수는 풀 데이터의 60%만 사용한 상태에서(η = 0.6) 90.38%의 테스트 정확도를 달성했으며, 전체 데이터 사용 시 최대 정확도 91.92%에 매우 가까운 성능를 보였다.
• η = 0.6일 경우, 전체 데이터 레이블링 대비 레이블링 쿼리 수를 40% 줄였으며, 높은 성능를 유지했다.
• 활성 학습 없이 기준 정확도는 79.12%였고, 모든 할당 함수가 성능를 향상시켰으며, 특히 Variation Ratios가 가장 큰 향상을 보였다.
• 라즈베리 파이 2에서의 현장 내 추론은 할당 주기당 약 5초가 소요되었으며(10회의 스토케스틱 전방 전파), 평균적으로 전방 전파당 약 0.5초가 소요되었다.
• 모델 크기는 약 115 kB로, 자원이 제한된 IoT 기기에서의 구현에 적합했다.
• 시스템은 불확실성 인식 활성 학습이 실시간 웨어러블 영향 감지에서 레이블링 작업 부담을 크게 줄일 수 있으며, 높은 정확도를 유지할 수 있음을 입증했다.