[論文レビュー] MMTSA: Multimodal Temporal Segment Attention Network for Efficient Human Activity Recognition

Ziqi Gao, Yuntao Wang+5 more|arXiv (Cornell University)|Oct 14, 2022

Context-Aware Activity Recognition Systems被引用数 6

ひとこと要約

MMTSAは、IMU信号をグラミアン・アンガラ・フィールド（GAF）画像に変換し、冗長性を低減するためのスパarsなサンプリングを適用し、セグメント間注意機構を用いて効果的な融合を実現する、マルチモーダル時系列セグメント注意ネットワークを提案する。MMActでは、SOTA手法と比較して11.13%高いクロス・サブジェクトF1スコアを達成し、FLOPsを94%削減、遅延を82.6%低減する。これによりエッジデバイスへの効率的デプロイメントが可能になる。

ABSTRACT

Multimodal sensors provide complementary information to develop accurate machine-learning methods for human activity recognition (HAR), but introduce significantly higher computational load, which reduces efficiency. This paper proposes an efficient multimodal neural architecture for HAR using an RGB camera and inertial measurement units (IMUs) called Multimodal Temporal Segment Attention Network (MMTSA). MMTSA first transforms IMU sensor data into a temporal and structure-preserving gray-scale image using the Gramian Angular Field (GAF), representing the inherent properties of human activities. MMTSA then applies a multimodal sparse sampling method to reduce data redundancy. Lastly, MMTSA adopts an inter-segment attention module for efficient multimodal fusion. Using three well-established public datasets, we evaluated MMTSA's effectiveness and efficiency in HAR. Results show that our method achieves superior performance improvements 11.13% of cross-subject F1-score on the MMAct dataset than the previous state-of-the-art (SOTA) methods. The ablation study and analysis suggest that MMTSA's effectiveness in fusing multimodal data for accurate HAR. The efficiency evaluation on an edge device showed that MMTSA achieved significantly better accuracy, lower computational load, and lower inference latency than SOTA methods.

研究の動機と目的

• 密度的なサンプリングと異種のサブネットワークに依存する既存のマルチモーダルHAR手法における非効率性と性能制限を解消すること。
• グラミアン・アンガラ・フィールド（GAF）を用いた統一的かつ同型の表現により、RGBとIMUの入力間の時間的相関を保持し、構造的乖離を低減すること。
• 入力クリップから重要な時間的セグメントを抽出するマルチモーダルスパースサンプリング戦略を導入し、計算上の冗長性を低減すること。
• セグメント間注意機構を用いて、複数のモダリティ間の特徴を動的に重み付けし、効率的で文脈に適応した融合を実現すること。
• 高い精度を維持しながらFLOPs、パラメータ数、推論遅延を最小限に抑えることで、エッジデバイス向けの最適化を図ること。

提案手法

• 人間の活動の時間的および構造的特性を保持するように、原始的なIMU時系列データをグラミアン・アンガラ・フィールド（GAF）変換を用いて2次元グレースケール画像に変換する。
• RGBおよびIMU入力から代表的な時間的セグメントを選択するマルチモーダルスパースサンプリング戦略を適用し、重要な情報損失を伴わずにデータの冗長性を低減する。
• RGBとIMUモダリティの対応するセグメント間で動的な注意重みを学習するセグメント間注意モジュールを設計し、効率的で文脈に適応した融合を実現する。
• GAF変換後の両モダリティに共通のバックボーンネットワークを適用することで、構造的乖離を低減し、パラメータ効率を向上させる。
• 一般化を向上させるために、エアリー・ストッピングとデータオーグメンテーションを用いた交差エントロピー損失で、エンドツーエンドのMMTSAモデルを訓練する。
• FLOPs、パラメータ数、推論遅延などのメトリクスを用いて、エッジデバイス上でのモデル効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 IMUとRGBデータの統一的かつ同型の表現は、マルチモーダルHARにおける時間的相関の向上と構造的乖離の低減に寄与するか？
• RQ2 マルチモーダルセグメントのスパースサンプリングは、認識精度を維持しつつ計算負荷を顕著に低減するか？
• RQ3 セグメント間注意機構は、時間的セグメントに跨るマルチモーダル特徴を効果的に統合し、認識性能を向上させることができるか？
• RQ4 エッジデバイス上での認識精度、FLOPs、推論遅延の観点から、MMTSAはSOTA手法と比較してどのように優れているか？
• RQ5 提案手法は、IMUを越える1次元センサーモダリティ（例：心電図、加速度計など）へも拡張可能か？

主な発見

• MMActデータセットにおいて、MMTSAは前回のSOTA手法と比較して11.13%高いクロス・サブジェクトF1スコアを達成した。
• DataEgoデータセットでは、SOTAモデルと比較してFLOPsを94%削減し、推論遅延を82.6%低減しながらも、高い認識精度を維持した。
• アブレーションスタディの結果、GAF変換、スパースサンプリング、セグメント間注意の各コンポonentが性能向上および効率化に顕著な寄与をしていることが確認された。
• MMAct、NTU-RGB+D、DataEgoの3つの公開データセットにおいて、MMTSAは優れた一般化性能とロバストネスを示した。
• エッジデバイス上での実装検証により、リアルタイムでのモバイルおよびウェアラブルシステムへのデプロイメントに強く適していることが裏付けられた。
• パラメータ数が多めであるものの、計算効率と低遅延の両立により、MMTSAはエッジデプロイメントに極めて適しており、プルーニングや量子化によるさらなる最適化が可能である。