[논문 리뷰] Wearable-based Human Activity Recognition with Spatio-Temporal Spiking Neural Networks

Yuhang Li, Ruokai Yin외 3명|arXiv (Cornell University)|2022. 11. 14.

Context-Aware Activity Recognition Systems인용 수 7

한 줄 요약

이 논문은 웨어러블 기반 인간 활동 인식(HAR)을 위한 시공간 스파iking 신경망(SNNs)을 제안한다. Leaky-integrate-and-fire(LIF) 뉴런을 활용하여 시간 동적 특성을 모델링하고 에너지 효율적인 추론을 가능하게 한다. SNNs는 인공신경망(ANNs)과 유사하거나 뛰어난 정확도를 달성하면서도 에너지 소비를 최대 94%까지 감소시켜, 엣지 기반 HAR 시스템에 있어 뚜렷한 효율성 향상을 보여준다.

ABSTRACT

We study the Human Activity Recognition (HAR) task, which predicts user daily activity based on time series data from wearable sensors. Recently, researchers use end-to-end Artificial Neural Networks (ANNs) to extract the features and perform classification in HAR. However, ANNs pose a huge computation burden on wearable devices and lack temporal feature extraction. In this work, we leverage Spiking Neural Networks (SNNs)--an architecture inspired by biological neurons--to HAR tasks. SNNs allow spatio-temporal extraction of features and enjoy low-power computation with binary spikes. We conduct extensive experiments on three HAR datasets with SNNs, demonstrating that SNNs are on par with ANNs in terms of accuracy while reducing up to 94% energy consumption. The code is publicly available in https://github.com/Intelligent-Computing-Lab-Yale/SNN_HAR

연구 동기 및 목표

• 웨어러블 센서를 활용한 딥러닝 기반 HAR에서 높은 에너지 소비와 제한된 시간 모델링 문제를 해결하기 위해.
• 시간 시리즈 센서 데이터를 활용한 엔드 투 엔드 HAR 작업에서 스파iking 신경망(SNNs)의 타당성과 성능을 탐색하기 위해.
• 표준 HAR 벤치마크에서 정확도와 에너지 효율성 측면에서 SNNs를 ANNs와 비교 평가하기 위해.
• 특히 감쇠 인자, 발화 임계값, 초기화 메커니즘과 같은 하이퍼파라미터에 대한 SNN 성능의 민감도를 조사하기 위해.
• SNNs가 ANN 성능을 따라하거나 초월할 수 있으며, 웨어러블 기기에서 초저전력 추론을 가능하게 할 수 있음을 입증하기 위해.

제안 방법

• 연구는 시간이 지남에 따라 막대 전위를 유지하고 임계값을 초과할 경우 이진 스파이크를 발생시키는 Leaky-Integrate-and-Fire(LIF) 스파이킹 뉴런을 사용한다.
• 막대 전위는 감쇠 인자 τ를 통해 변화하며, 시간 단계 간의 시간적 상관관계를 가능하게 한다. τ=0.0은 기억 기능을 비활성화하고, τ=1.0은 ReLU 동작에 가까워진다.
• SNNs는 서로서티 그래디언트를 사용한 타임스텝을 거쳐 역전파를 통해 훈련되며, 시공간 특징의 엔드 투 엔드 최적화를 가능하게 한다.
• 아키텍처는 다변량 센서 시간 시리즈(예: 가속도계, 자이로스코프)에서 공간적 및 시간적 특징을 추출하기 위해 컨볼루션 레이어와 SNNs를 결합한다.
• 두 가지 SNN 변종인 SpikeCNN와 SpikeDCL을 평가하였으며, 감쇠 인자 τ, 발화 임계값 Vth, 초기화 메커니즘(하드 대비 소프트)에 대한 분석 연구를 수행하였다.
• 에너지 소비는 하드웨어 시뮬레이션을 통해 측정되었으며, ANN의 에너지 소비는 비교를 위해 1로 정규화되었다.

실험 결과

연구 질문

• RQ1 SNNs는 웨어러블 기반 HAR 작업에서 ANN과 유사하거나 뛰어난 정확도를 달성할 수 있는가?
• RQ2 SNNs는 높은 정확도를 유지하면서 ANN 대비 얼마나 많은 에너지 소비를 줄일 수 있는가?
• RQ3 감쇠 인자 τ, 발화 임계값 Vth, 초기화 메커니즘과 같은 하이퍼파라미터에 대해 SNN 성능은 얼마나 민감한가?
• RQ4 LIF 뉴런을 통한 시간 동적 특성 통합은 표준 ANNs에 비해 시간 시리즈 HAR 데이터에서 성능 향상에 기여하는가?
• RQ5 소프트-리셋 메커니즘은 하드-리셋에 비해 SNNs에서 시간적 정보를 더 잘 유지하는가?

주요 결과

• UCI-HAR 데이터셋에서 SpikeDCL 모델은 98.86%의 정확도를 기록하여 최고의 ANN 기준(97.87%)을 초월하였다.
• SHAR 데이터셋에서 SpikeCNN는 94.04%의 정확도를 기록하여 최고의 ANN(96.02%)를 뚜렷이 앞섰다.
• HHAR 데이터셋에서 SpikeDCL는 97.52%의 정확도를 기록하여 최고의 ANN 성능과 동일했다.
• 모든 데이터셋에서 SNNs는 ANN 대비 최대 94%의 에너지 소비 감소를 기록하였다.
• 감쇠 인자 τ는 성능에 상당한 영향을 미쳤다: UCI-HAR에서 τ=0.75일 경우 98.86%의 정확도를 기록했고, τ=1.0일 경우 동일한 모델에서 96.60%로 떨어졌다.
• 모든 데이터셋과 모델에서 소프트-리셋 메커니즘이 하드-리셋을 항상 앞섰으며, 이는 시간적 동역학의 더 나은 유지 보존을 의미한다.