[論文レビュー] PKU-MMD: A Large Scale Benchmark for Continuous Multi-Modal Human Action Understanding

Chunhui Liu, Yueyu Hu+3 more|arXiv (Cornell University)|Mar 22, 2017

Human Pose and Action Recognition参考文献 46被引用数 148

ひとこと要約

PKU-MMD は 1076 本の長編動画、51 のアクションクラス、66 名の被験者、3 つのカメラ視点を備えた大規模で連続的なマルチモーダル 3D アクションデータセット（RGB、深度、赤外線、スケルトン）と、アクション検出の新しい 2D-AP 評価プロトコルを導入します。

ABSTRACT

Despite the fact that many 3D human activity benchmarks being proposed, most existing action datasets focus on the action recognition tasks for the segmented videos. There is a lack of standard large-scale benchmarks, especially for current popular data-hungry deep learning based methods. In this paper, we introduce a new large scale benchmark (PKU-MMD) for continuous multi-modality 3D human action understanding and cover a wide range of complex human activities with well annotated information. PKU-MMD contains 1076 long video sequences in 51 action categories, performed by 66 subjects in three camera views. It contains almost 20,000 action instances and 5.4 million frames in total. Our dataset also provides multi-modality data sources, including RGB, depth, Infrared Radiation and Skeleton. With different modalities, we conduct extensive experiments on our dataset in terms of two scenarios and evaluate different methods by various metrics, including a new proposed evaluation protocol 2D-AP. We believe this large-scale dataset will benefit future researches on action detection for the community.

研究の動機と目的

• データを多量に必要とする深層学習手法によるアクション検出を可能にする、連続的な大規模データセットの必要性に対処する。
• 3 台のカメラ視点からのマルチモダリティデータ（RGB、深度、赤外線、スケルトン）を提供し、モダリティ間の補完情報を研究する。
• 未トリミング動画における時系列の局在化とアクション分類を評価可能とする。
• 精度再現率の観点から重なり（オーバーラップ）と検出信頼度を同時に考慮する新しい評価プロトコル（2D-AP）を導入する。

提案手法

• Kinect v2 を用いて長く未トリミングのマルチビューシーケンスを収集し、RGB、深度、赤外線、スケルトンデータを取得する。
• 1076 本の動画にわたり、51 アクションクラス（日常動作および相互作用動作）を横断する 20 のアクションインスタンスの時系列境界をアノテーションする。
• マルチモーダル表現（Raw Skeleton、Convolution Skeleton、Deep RGB、Deep Optical Flow）を提案し、クロスビューおよびクロスサブジェクト設定で評価する。
• スライディングウィンドウ BLSTM/SVM、STA-LSTM、JCRRNN などの時系列検出戦略を検討し、モダリティを融合して検出性能を評価する。
• ボランティアアノテーションとクロスビュー整合性チェックによるラベリングワークフローを採用し、ラベル品質を確保する。

実験結果

リサーチクエスチョン

• RQ1 PKU-MMD は複数モダリティと視点を跨る堅牢な連続アクション検出をサポートできるのか？
• RQ2 異なるモダリティの組み合わせ（RGB、深度、IR、スケルトン）がアクション検出と局在化の性能にどのように影響するのか？
• RQ3 長い未トリミング動画に対するさまざまな時系列検出アーキテクチャ（BLSTM、JCRRNN、STA-LSTM）はどの程度効果的か？
• RQ4 提案された 2D-AP 評価プロトコルは、異なるオーバーラップ閾値と信頼度の下でどのように精度再現率を捉えるのか？

主な発見

• PKU-MMD は 1076 本の長編動画、51 アクションクラス、20,000 以上のアクションインスタンス、3 つの視点、66 名の被験者にまたがる 540 万フレームを含む。
• マルチモーダルデータ（RGB、深度、赤外線、スケルトン）を結合することで、単一モダリティと比較して検出性能が向上する。
• 結合分類-回帰 RNN および BLSTM ベースのアプローチは、クロスビューおよびクロスサブジェクト設定の検出指標で SVM ベースラインを上回る。
• 提案された 2D-AP プロトコルは、 ground truth との重なりと検出信頼度の両方を考慮した統一評価を提供する。
• ベースライン実験は、大規模な 3D データ上でのアクション検出が依然として挑戦的であり、方法論的な進歩の余地があることを示している。