[論文レビュー] Classify, predict, detect, anticipate and synthesize: Hierarchical recurrent latent variable models for human activity modeling.

Judith Bütepage, Hedvig Kjellström+1 more|arXiv (Cornell University)|Sep 24, 2018

Human Pose and Action Recognition参考文献 25被引用数 5

ひとこと要約

本論文は、連続的な観測と構造的セマンティックラベルを統合することで、人間の行動の意味（分類、予測、検出、予習）と運動軌跡（予測、合成）を統合的にモデル化する半教師あり階層的再帰的潜在変数モデルを提案する。このモデルは、エージェント間の依存関係と階層的行動構造を捉え、Cornell Activity 120、UTKinect-Action3D、Stony Brook Kinect Interaction Datasetを含む複数のデータセットで、タスク特化型モデルを上回る性能を発揮する。

ABSTRACT

Human activity modeling operates on two levels: high-level action modeling, such as classification, prediction, detection and anticipation, and low-level motion trajectory prediction and synthesis. In this work, we propose a semi-supervised generative latent variable model that addresses both of these levels by modeling continuous observations as well as semantic labels. We extend the model to capture the dependencies between different entities, such as a human and objects, and to represent hierarchical label structure, such as high-level actions and sub-activities. In the experiments we investigate our model's capability to classify, predict, detect and anticipate semantic action and affordance labels and to predict and generate human motion. We train our models on data extracted from depth image streams from the Cornell Activity 120, the UTKinect-Action3D and the Stony Brook University Kinect Interaction Dataset. We observe that our model performs well in all of the tasks and often outperforms task-specific models.

研究の動機と目的

• 人間行動理解における高レベルの意味的行動モデリングと低レベルの運動軌跡予測の二重の課題に取り組む。
• 連続的な深度観測と、階層的行動構造およびアフォーダンスラベルを含む構造的セマンティックラベルを統合する。
• 人間と物体間の依存関係をモデル化することで、行動と運動理解を向上させる。
• タスク特化型の適応を必要とせず、分類、予測、検出、予習、運動合成の複数のタスクをサポートする統一された生成フレームワークを開発する。
• 深度画像ストリームからのラベルありおよびラベルなしデータを活用できる半教師あり学習を可能にする。

提案手法

• 運動軌跡と意味的行動ラベルの両方の潜在表現を統合的にモデリングする階層的再帰的潜在変数モデルを採用する。
• 連続的観測（例：深度ストリームからの3次元人体ポーズ）と離散的セマンティックラベル（例：行動、サブアクティビティ）をモデリングするため、変分推論フレームワークを用いる。
• 時間的依存関係および階層的ラベル構造をモデル化するために、アテンション機構または再帰構造を組み込む。
• 物体の状態と相互作用の兆候に条件づけた潜在変数を用いて、人間と物体間のエンティティ関係をモデル化する。
• ラベルあり行動とラベルなし運動シーケンスの両方を活用し、弱教師ありデータからの深度シーケンスを用いて、半教師ありでモデルを学習する。
• セマンティックラベルに条件づけたエンドツーエンドの運動シーケンス生成を可能にし、合成および予習タスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 統一された生成フレームワーク内で、分類、予測、検出、予習、運動合成という複数の行動モデリングタスクを効果的に行えるか？
• RQ2 平坦なラベルモデリングと比較して、階層的行動構造（高レベル行動とそのサブアクティビティ）をどの程度正確に捉えられるか？
• RQ3 人間と物体間の依存関係をモデル化することで、意味的および運動的タスクのパフォーマンスがどの程度向上するか？
• RQ4 ラベル付きデータが限られた状況で、完全教師ありベースラインと比較して、半教師あり学習戦略が性能向上に寄与するか？
• RQ5 Cornell Activity 120、UTKinect-Action3D、Stony Brook Kinect Interaction Datasetといった多様なデータセットにおいて、タスク特化型モデルと比較して、本モデルのパフォーマンスはどの程度か？

主な発見

• 提案手法は、分類、予測、検出、予習、運動合成という全評価タスクで優れた性能を発揮し、統一された生成フレームワークの有効性を示している。
• 複数のベンチマークでタスク特化型モデルを上回る性能を発揮しており、一般化能力および表現学習の優位性が裏付けられている。
• 階層的ラベル構造を組み込むことで、特にサブアクティビティ認識や予習タスクにおける複雑な行動のモデリングが向上した。
• 人間と物体の相互作用をモデル化することで、行動予習および検出タスクのパフォーマンスが向上し、特に複雑な相互作用シナリオで顕著であった。
• 半教師あり学習戦略は、ラベルなしデータを効果的に活用し、完全な教師あり学習を必要としない低リソース環境でも性能向上を達成した。
• セマンティックラベルに条件づけた現実的な運動シーケンスの生成に成功しており、本モデルの運動合成能力が裏付けられた。