[論文レビュー] Concurrent Activity Recognition with Multimodal CNN-LSTM Structure

Xinyu Li, Yanyi Zhang+5 more|arXiv (Cornell University)|Feb 6, 2017

Context-Aware Activity Recognition Systems参考文献 39被引用数 32

ひとこと要約

本論文では、異種センサデータを用いた同時活動認識のためのマルチモーダルCNN-LSTMアーキテクチャを提案する。CNNにより空間的特徴を抽出し、LSTMにより各モダリティごとに時間的依存性をモデル化し、特徴を統合して1つのバイナリ出力分類器で共同分類を実行する。3つの多様なデータセットでドメイン特化型モデルと同等の性能を達成し、スケーラブルで統合的なフレームワークを実現した。

ABSTRACT

We introduce a system that recognizes concurrent activities from real-world data captured by multiple sensors of different types. The recognition is achieved in two steps. First, we extract spatial and temporal features from the multimodal data. We feed each datatype into a convolutional neural network that extracts spatial features, followed by a long-short term memory network that extracts temporal information in the sensory data. The extracted features are then fused for decision making in the second step. Second, we achieve concurrent activity recognition with a single classifier that encodes a binary output vector in which elements indicate whether the corresponding activity types are currently in progress. We tested our system with three datasets from different domains recorded using different sensors and achieved performance comparable to existing systems designed specifically for those domains. Our system is the first to address the concurrent activity recognition with multisensory data using a single model, which is scalable, simple to train and easy to deploy.

研究の動機と目的

• 複数の同時活動をマルチモーダルセンサデータから認識する統合的ディープラーニングフレームワークの開発。
• 例えばビデオ、音声、モーショングのような異種センサモダリティを1つのスケーラブルなモデルに統合する課題への対処。
• 複数の同時活動を予測する1つの分類器をエンドツーエンドでトレーニングおよびデプロイ可能にする。
• タスク特化型のモデル再トレーニングを必要とせず、多様なドメインで競争力のある性能を達成すること。
• 異なるセンサタイプや環境で、1つの汎用モデルが同時活動認識に実用的であることを実証すること。

提案手法

• 各センサモダリティ（例：ビデオ、加速度計）は、空間的特徴を抽出するため、畳み込みニューラルネットワーク（CNN）を独立して処理する。
• 各モダリティの特徴系列内の時間的依存性は、長短記憶ネットワーク（LSTM）を用いてモデル化する。
• 全モダリティからの特徴を連結し、活性な活動タイプを示すバイナリベクトルを出力する共有分類器ヘッドに供給する。
• マルチラベル出力ベクトル上でバイナリクロスエントロピー損失関数を用いて、エンドツーエンドでモデルをトレーニングする。
• 特徴統合は早期に実行され、最終分類の前にモダリティ固有の表現を統合する。
• アーキテクチャは、異なるセンサタイプや活動ドメインにわたるスケーラビリティと一般化能力を備えている。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、異種センサ入力から複数の同時活動を効果的に認識できるか？
• RQ2 マルチモーダル特徴統合をCNN-LSTMアーキテクチャで行う場合、モダリティ特化型モデルと比較して、同時活動認識においてどのように異なるか？
• RQ3 再トレーニングを伴わず、統合モデルが異なるドメインやセンサタイプにどの程度一般化できるか？
• RQ4 早期特徴統合と共有分類器ヘッドの導入が、モデルのパフォーマンスとスケーラビリティに与える影響は何か？
• RQ5 1つのエンドツーエンドトレーニング可能なモデルが、多様な実世界環境で特化型システムと同等の性能を達成できるか？

主な発見

• 提案されたマルチモーダルCNN-LSTMモデルは、異なる応用分野に属する3つの異なるデータセットにおいて、既存のドメイン特化型システムと同等の性能を達成した。
• 本モデルは、異なるセンサタイプや環境をカバーする1つの統合アーキテクチャを用いて、複数の同時活動を効果的に認識した。
• エンドツーエンドトレーニングと共有分類器設計のおかげで、スケーラビリティとデプロイメントの容易さを示した。
• モダリティ固有のCNNによる特徴抽出に続いてLSTMによる時間的パターンモデリングが、空間的および順序的パターンの両方を効果的に捉えることがわかった。
• 1つのバイナリ出力分類器の使用により、活動ごとに別々のモデルを必要とせず、効率的なマルチラベル予測が可能になった。
• 異なるセンサで収集されたデータセットに対して一貫した性能を示し、一般化能力の高さを確認した。