[論文レビュー] Skeleton Focused Human Activity Recognition in RGB Video

Bruce X. B. Yu, Yan Liu+1 more|arXiv (Cornell University)|Apr 29, 2020

Human Pose and Action Recognition参考文献 45被引用数 7

ひとこと要約

本論文は、骨格とRGB動画データの両方を活用して人間の行動認識を実現するマルチモーダル融合モデルを提案する。骨格表現にはグラフ畳み込みネットワーク（GCN）を、RGB特徴学習のガイドには骨格駆動型アテンション機構を用いる。エンド・トゥ・エンドの学習により、クロスモーダル特徴の通信性と判別性を向上させることで、NTU-RGB+DおよびNorthwestern-UCLA Multiviewデータセットで最先端の性能を達成した。

ABSTRACT

The data-driven approach that learns an optimal representation of vision features like skeleton frames or RGB videos is currently a dominant paradigm for activity recognition. While great improvements have been achieved from existing single modal approaches with increasingly larger datasets, the fusion of various data modalities at the feature level has seldom been attempted. In this paper, we propose a multimodal feature fusion model that utilizes both skeleton and RGB modalities to infer human activity. The objective is to improve the activity recognition accuracy by effectively utilizing the mutual complemental information among different data modalities. For the skeleton modality, we propose to use a graph convolutional subnetwork to learn the skeleton representation. Whereas for the RGB modality, we will use the spatial-temporal region of interest from RGB videos and take the attention features from the skeleton modality to guide the learning process. The model could be either individually or uniformly trained by the back-propagation algorithm in an end-to-end manner. The experimental results for the NTU-RGB+D and Northwestern-UCLA Multiview datasets achieved state-of-the-art performance, which indicates that the proposed skeleton-driven attention mechanism for the RGB modality increases the mutual communication between different data modalities and brings more discriminative features for inferring human activities.

研究の動機と目的

• 骨格とRGB動画モダリティを効果的に統合することで、人間の行動認識の精度を向上させること。
• 骨格とRGBデータの補完的情報を活用し、より強固な特徴学習を実現すること。
• 訓練中に両モダリティが相互に強化し合うような共同学習フレームワークを設計すること。
• RGB特徴抽出のための判別力を向上させるために、骨格駆動型アテンション機構を構築すること。
• エンド・トゥ・エンドの訓練を用いて、ベンチマーク用のRGB+深度データセットで最先端の性能を達成すること。

提案手法

• 骨格シーケンスからの空間的・時間的表現を学習するために、グラフ畳み込みネットワーク（GCN）を用いる。
• RGB動画フレームから空間的・時間的領域の注目領域（R-CNN）を抽出し、関連する人体の動きを局所化する。
• 骨格キーポoinのダイナミクスに基づいて、RGB特徴の選択と重み付けをガイドする骨格駆動型アテンション機構を適用する。
• バックプロパゲーションを介してエンド・トゥ・エンドの訓練が可能となり、両モダリティの共同最適化が可能になる。
• 特徴統合は表現レベルで行われ、骨格ストリームとRGBストリームからの補完的ヒントを組み合わせる。
• アテンション機構は、骨格に基づくアテンションマップを用いて、RGB動画内の動きに関連する領域に動的に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 骨格とRGBモダリティの共同学習は、人間の行動認識の精度を向上させることができるか？
• RQ2 骨格情報は、RGB特徴学習におけるアテンション機構をどの程度効果的にガイドできるか？
• RQ3 提案されたマルチモーダル統合戦略は、標準ベンチマークにおいて単一モダリティのベースラインを上回る性能を示すか？
• RQ4 骨格駆動型アテンション機構は、RGB特徴の判別性をどの程度向上させるか？
• RQ5 統合モデルのエンド・トゥ・エンド訓練は、モダリティを別々に訓練するのと比べて、より優れた性能を達成できるか？

主な発見

• 提案モデルは、NTU-RGB+Dデータセットで最先端の性能を達成し、既存手法を上回った。
• Northwestern-UCLA Multiviewデータセットでは、類似手法の中で報告された最高の正確度を達成した。
• 骨格駆動型アテンション機構により、動きに関連する領域に注目することで、RGB特徴の品質が顕著に向上した。
• 骨格とRGBの統合により、単体で用いる場合よりも、より判別性の高い表現が得られた。
• 両モダリティの共同最適化を伴うエンド・トゥ・エンド訓練は、モダリティを別々に訓練するのと比べて、より優れた性能を示した。
• グラフ畳み込みネットワークは、行動認識のための骨格シーケンス内の空間的・時間的依存関係を効果的に捉えた。