[論文レビュー] Attention-Based Sensor Fusion for Human Activity Recognition Using IMU Signals

Wenjin Tao, Haodong Chen+4 more|arXiv (Cornell University)|Dec 20, 2021

Context-Aware Activity Recognition Systems被引用数 10

ひとこと要約

本論文は、複数のIMUセンサーを用いた人体活動認識のためのアテンションベースのセンサーフュージョンフレームワークを提案する。CNNを用いてセンサー固有の特徴を抽出し、学習可能なアテンション機構によりセンサーの重要度を動的に重み付けする。本手法は、センサー間の相関関係を効果的にモデル化し、各活動に最も情報量の多い身体部位に注目することで、5つの公開データセットで最先端の精度を達成した。

ABSTRACT

Human Activity Recognition (HAR) using wearable devices such as smart watches embedded with Inertial Measurement Unit (IMU) sensors has various applications relevant to our daily life, such as workout tracking and health monitoring. In this paper, we propose a novel attention-based approach to human activity recognition using multiple IMU sensors worn at different body locations. Firstly, a sensor-wise feature extraction module is designed to extract the most discriminative features from individual sensors with Convolutional Neural Networks (CNNs). Secondly, an attention-based fusion mechanism is developed to learn the importance of sensors at different body locations and to generate an attentive feature representation. Finally, an inter-sensor feature extraction module is applied to learn the inter-sensor correlations, which are connected to a classifier to output the predicted classes of activities. The proposed approach is evaluated using five public datasets and it outperforms state-of-the-art methods on a wide variety of activity categories.

研究の動機と目的

• 多様な現実世界のシナリオにおける多センサーIMUデータの統合による、頑健な人体活動認識の課題に対処すること。
• 手作業で設計された特徴量や固定されたセンサーフュージョンの限界を克服し、生のIMU信号から判別性が高く、適応可能な表現を学習すること。
• 各活動に応じて最も情報量の多い身体部位を特定する学習可能なアテンション機構を開発すること。
• 専用の特徴抽出モジュールを用いてセンサー間の相関関係をモデル化することで、認識精度を向上させること。

提案手法

• 各センサーからの生のIMU信号を周波数ドメインの画像に変換し、効果的なCNN処理を可能にする。
• 個々のセンサー入力からの判別的特徴を抽出するために、センサーごとのCNNモジュールを適用する。
• 異なる身体部位に配置されたセンサーの動的重み付け重要度を計算するための学習可能なアテンション機構を実装する。
• センサー表現間の相関関係をモデル化するため、センサー間特徴抽出モジュールを用いる。
• アテンション処理と相関特徴を統合し、最終的な活動予測のための分類器に送る。
• センサー重要度スコアを正規化するために、ソフトアテンションを用い、ソフトマックス関数を適用する（式8）。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を効果的に応用することで、多センサーIMU信号の統合による人体活動認識をどのように向上させられるか？
• RQ2 センサー固有のアテンション重みが、異なる活動における最も情報量の多い身体部位を特定する上で果たす貢献は何か？
• RQ3 学習可能な統合戦略は、固定または手作業で設計された統合手法を上回ることができるか？
• RQ4 センサー間の相関関係は、複雑な全身活動を区別するモデルの能力をどのように向上させるか？
• RQ5 提案手法は、多様なデータセットおよび活動カテゴリにどの程度一般化可能か？

主な発見

• 提案手法は5つの公開HARデータセットで最先端の性能を達成し、既存手法を精度面で上回った。
• アテンション機構は、活動タイプに応じてセンサーの優先順位を適切に学習しており、例えば「ローイング」では腕のセンサーを強調し、「ランニング」や「ジャンプ」では均等に注意を配っている。
• アテンション重みの可視化により、物理的直感と整合する、活動依存の意味のあるセンサー重要度をモデルが学習していることが確認された。
• クラス活性化マップ（CAMs）は、モデルが各活動に特徴的な信号領域および周波数成分に注目していることを示している。
• 本モデルは、孤立した動きと全身の動きを含む多様な活動カテゴリにわたり、良好な一般化性能を示した。
• アブレーションスタディにより、アテンション機構およびセンサー間相関モジュールの両方が性能向上に有効であることが確認された。