[論文レビュー] Multi-Stage Based Feature Fusion of Multi-Modal Data for Human Activity Recognition

Hyeongju Choi, Apoorva Beedu+2 more|arXiv (Cornell University)|Nov 8, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文は、RGB動画とIMUセンサデータを融合する2段階のマルチモodalフレームワークを提案する。3D-CNNと1D-CNNエンコーダーを用い、特徴量の統合と分類を経て、UTD-MHADでは96.05%、MMActでは84.05%の精度を達成。単一モダリティベースラインよりそれぞれ22%および11%の向上を示し、低データおよびゼロショット設定でも高いロバスト性を示す。

ABSTRACT

To properly assist humans in their needs, human activity recognition (HAR) systems need the ability to fuse information from multiple modalities. Our hypothesis is that multimodal sensors, visual and non-visual tend to provide complementary information, addressing the limitations of other modalities. In this work, we propose a multi-modal framework that learns to effectively combine features from RGB Video and IMU sensors, and show its robustness for MMAct and UTD-MHAD datasets. Our model is trained in two-stage, where in the first stage, each input encoder learns to effectively extract features, and in the second stage, learns to combine these individual features. We show significant improvements of 22% and 11% compared to video only and IMU only setup on UTD-MHAD dataset, and 20% and 12% on MMAct datasets. Through extensive experimentation, we show the robustness of our model on zero shot setting, and limited annotated data setting. We further compare with state-of-the-art methods that use more input modalities and show that our method outperforms significantly on the more difficult MMact dataset, and performs comparably in UTD-MHAD dataset.

研究の動機と目的

• RGB動画とIMUセンサモダリティからの補完的情報を効果的に統合することで、人間行動認識（HAR）の精度を向上させること。
• 動画の遮蔽感受性やIMUの身体位置依存性といった単一モダリティシステムの限界を、マルチモダリティ学習によって克服すること。
• 訓練中に未見の行動クラスが含まれるデータスカースおよびゼロショット条件下でも、強力な性能を示すことを実証すること。
• スケルトンデータなどのより複雑または追加のモダリティを用いる最先端手法を上回ることを目的とし、動画とIMU入力の効率的統合に焦点を当てる。

提案手法

• フレームワークは2段階のトレーニングプロセスを採用：まず、モダリティ固有の特徴を学習する別個のエンコーダー（動画用に3D-CNN、IMU用に1D-CNN）を適用。
• 動画モダリティはS3D 3D-CNNアーキテクチャを用いてエンコードされ、IMUデータはReLUとドロップアウトを含む3段のスタックされた1D畳み込みブロックで処理される。
• 2段階目では、両モダリティから抽出された特徴量が連結され、最終的な行動分類のために2層のMLPを通過する。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、特徴学習と統合の共同最適化が可能になる。
• スケルトン推定の後処理に依存せず、生の動画とIMU入力を直接使用する。
• 2段階設計により、統合の前に個々のモダリティエンコーダーが強力な表現を学習でき、全体の特徴品質が向上する。

実験結果

リサーチクエスチョン

• RQ1 RGB動画とIMUデータを統合する2段階のマルチモダリティ学習フレームワークは、単一モダリティベースラインと比較して、HAR精度を顕著に向上させることができるか？
• RQ2 訓練中に一部の行動クラスが未学習である低データおよびゼロショット設定下で、本手法はどのように性能を示すか？
• RQ3 スケルトンデータなどの追加モダリティを用いる最先端手法と比較して、本手法の統合戦略は優れているか？
• RQ4 訓練データの25%しか利用できない状況下で、モデルの性能はどの程度保たれるか。マルチモダリティ学習はこのような状況でも優位性を維持するか？
• RQ5 IMUデータが特定の行動クラスをカバーしていない場合、動画データがIMUよりもより強力な補完的情報を提供するか？

主な発見

• 提案されたマルチモダリティモデルはUTD-MHADデータセットで96.05%の精度を達成し、動画のみのベースラインより22%、IMUのみのベースラインより11%の向上を示した。
• MMActデータセットでは84.05%の精度に達し、動画のみの設定では20%、IMUのみの設定では12%の向上を示した。
• ゼロショット設定（訓練中に5つの行動クラスを非表示）では、マルチモダリティモデルの精度低下は10%にとどまり、単一モダリティ設定（12–14%低下）を著しく上回った。
• 訓練データの25%しか利用できない状況でも、モデルは強力な性能を維持し、UTD-MHADおよびMMActの両方で精度が10%低下にとどまった。これはデータ不足に対するロバスト性を示している。
• IMUデータが特定の行動クラスをカバーしていないが、動画データにそれらが含まれる場合、マルチモダリティ設定（IMU* + RGB）は（RGB* + IMU）を上回り、動画の強力な補完性を裏付けた。
• スケルトン推定などの複雑な後処理を避けており、2つのモダリティのみを用いるにもかかわらず、VSKD や HAMLET などの最先端手法を上回るか同等の性能を発揮した。