[論文レビュー] Wearable-based Human Activity Recognition with Spatio-Temporal Spiking Neural Networks

Yuhang Li, Ruokai Yin+3 more|arXiv (Cornell University)|Nov 14, 2022

Context-Aware Activity Recognition Systems被引用数 7

ひとこと要約

本稿では、ウェアラブルセンサーを用いた人間行動認識（HAR）のための空間的・時間的スパikingニューラルネットワーク（SNN）を提案する。Leaky-integrate-and-fire（LIF）ニューロンを用いて時間的ダイナミクスをモデル化し、エネルギー効率の高い推論を実現する。SNNは、エネルギー消費を最大94％削減しながら、人工ニューラルネットワーク（ANN）と同等またはそれ以上の精度を達成しており、エッジデプロイ可能なHARシステムにおける顕著な効率性向上を示している。

ABSTRACT

We study the Human Activity Recognition (HAR) task, which predicts user daily activity based on time series data from wearable sensors. Recently, researchers use end-to-end Artificial Neural Networks (ANNs) to extract the features and perform classification in HAR. However, ANNs pose a huge computation burden on wearable devices and lack temporal feature extraction. In this work, we leverage Spiking Neural Networks (SNNs)--an architecture inspired by biological neurons--to HAR tasks. SNNs allow spatio-temporal extraction of features and enjoy low-power computation with binary spikes. We conduct extensive experiments on three HAR datasets with SNNs, demonstrating that SNNs are on par with ANNs in terms of accuracy while reducing up to 94% energy consumption. The code is publicly available in https://github.com/Intelligent-Computing-Lab-Yale/SNN_HAR

研究の動機と目的

• ウェアラブルセンサーを用いたディープラーニングベースのHARにおける高いエネルギー消費と、時間的モデリングの限界を解決すること。
• 時系列センサーデータを用いたエンドツーエンドのHARタスクにおけるスパikingニューラルネットワーク（SNN）の実現可能性と性能を調査すること。
• 標準的なHARベンチマーク上で、SNNとANNの精度およびエネルギー効率の観点から比較評価すること。
• 特に減衰係数、発火閾値、リセットメカニズムといったハイパーパrameterの感度を調査すること。
• SNNがANNの性能を同等または上回り、ウェアラブルデバイス上で超低消費電力推論を可能にできることを実証すること。

提案手法

• 膜電位を時間的に維持するLeaky-Integrate-and-Fire（LIF）スパキングニューロンを採用し、膜電位が閾値を超えるとバイナリスパイクを発火させる。
• 膜電位は減衰係数τに従って変化し、時間ステップ間の時間的相関を実現する。τ=0.0は記憶を無効化し、τ=1.0はReLUに近い挙動を示す。
• 時間にわたる誤差逆伝播と代替勾配を用いてSNNを訓練し、空間的・時間的特徴のエンドツーエンド最適化を可能にする。
• 多変量センサ時系列データ（例：加速度計、ジャイロスコープ）から空間的および時間的特徴を抽出するために、畳み込み層とSNNを組み合わせたアーキテクチャを採用する。
• 2種類のSNNバージョン（SpikeCNNとSpikeDCL）を評価し、減衰係数τ、発火閾値Vth、リセットメカニズム（ハードリセット対ソフトリセット）のアブレーションスタディを実施。
• エネルギー消費はハードウェアシミュレーションにより測定され、ANNのエネルギー消費を比較のため1に正規化している。

実験結果

リサーチクエスチョン

• RQ1 SNNはウェアラブルベースのHARタスクにおいて、ANNと同等またはそれ以上の精度を達成できるか？
• RQ2 SNNは、高い精度を維持した上で、ANNと比較してどの程度エネルギー消費を削減できるか？
• RQ3 SNNの性能は、減衰係数τ、発火閾値Vth、リセットメカニズムといったハイパーパrameterにどの程度感受性を示すか？
• RQ4 LIFニューロンによる時間的ダイナミクスの組み込みは、標準的なANNと比較して、時系列HARデータにおける性能向上に寄与するか？
• RQ5 ソフトリセットメカニズムは、ハードリセットと比較して、SNNにおける時間的情報をより効果的に保持するか？

主な発見

• UCI-HARデータセットでは、SpikeDCLモデルが98.86％の精度を達成し、最良のANNベースライン（97.87％）を上回った。
• SHARデータセットでは、SpikeCNNが94.04％の精度を達成し、最良のANN（96.02％）を著しく上回った。
• HHARデータセットでは、SpikeDCLが97.52％の精度を達成し、最良のANN性能と同等だった。
• SNNは、すべてのデータセットでANNと比較して最大94％のエネルギー消費削減を達成した。
• 減衰係数τは性能に顕著な影響を及ぼした：UCI-HARではτ=0.75で98.86％の精度を達成したが、τ=1.0では同じモデルで96.60％に低下した。
• ソフトリセットメカニズムは、すべてのデータセットおよびモデルでハードリセットを上回り、時間的ダイナミクスの保持がより効果的であることが示された。