[論文レビュー] Intention from Motion.

Andrea Zunino, Jacopo Cavazza+4 more|arXiv (Cornell University)|May 31, 2016

Human Pose and Action Recognition参考文献 74被引用数 3

ひとこと要約

この論文は、文脈的ヒントを一切用いずに、3次元モーショングラフデータと2次元動画のマルチモodalデータセットを活用することで、運動の動きから人の意図を推定する、新しい行動予測パラダイム「Intention from Motion」を紹介している。この手法は、運動の運動学的特徴のみを用いて信頼性の高い意図予測を達成しており、最先端の行動認識モデルがこのタスクでは失敗することを示し、運動からのみ意図を推定するための新しい分類手法を提案している。

ABSTRACT

In this paper, we propose Intention from Motion, a new paradigm for action prediction where, without using any contextual information, we can predict human intentions all originating from the same motor act, non specific of the following performed action. To investigate such novel problem, we designed a proof of concept consisting in a new multi-modal dataset of motion capture marker 3D data and 2D video sequences where, by only analysing very similar movements in both training and test phases, we are able to predict the underlying intention, i.e., the future, never observed, action. Through an extended baseline assessment, we evaluate the proposed dataset employing state-of-the-art 3D and 2D action recognition techniques, while using fusion methods to fully exploit its multi-modal nature. We also report comparative benchmarking tests using existing action prediction pipelines, showing that such algorithms can not deal well with the proposed intention prediction problem. In the end, we demonstrate that intentions can be predicted in a reliable way, ultimately devising a novel classification technique to infer the intention from kinematic information only.

研究の動機と目的

• 文脈的または環境的情報なしに、人の意図を動作データのみから予測できるかどうかを調査すること。
• 同じ運動行動から多様な将来の行動を予測するという課題に取り組むこと。これは、既存の行動予測パイプラインが十分に処理できない問題である。
• 動作のみの意図予測を支援するため、3次元モーショングラフと2次元動画の新しいマルチモーダルデータセットを設計・公開すること。
• この新しいタスクに対して、最先端の3次元および2次元行動認識モデルの性能を評価し、それらが意図予測の文脈で果たす限界を明らかにすること。
• 運動学的特徴からのみ意図を推定するための、新しい分類手法を開発・検証すること。

提案手法

• 著者らは、3次元モーショングラフマーカーのデータと2次元動画シーケンスを組み合わせたマルチモーダルデータセットを構築し、異なる意図を持つが非常に似た動きを捉えた。
• そのデータセットに、最先端の3次元および2次元行動認識モデルを適用し、両モダリティを活用するための早期融合および遅延融合戦略を用いた。
• この手法は、視覚的および運動学的に類似しているが、異なる将来の行動に繋がる運動シーケンスから、背後にある意図を予測する性能を評価する。
• 文脈的または環境的文脈を必要とせず、運動学的特徴から直接意図を推定する新しい分類手法を考案した。
• ベースラインモデルをこのデータセットでテストし、意図予測への一般化能力を評価した。その結果、この設定ではそれらのモデルの欠陥が明らかになった。
• このアプローチは、初期の動きがほとんど同一であっても、異なる意図を示す微細な運動学的差異を特定することに焦点を当てている。

実験結果

リサーチクエスチョン

• RQ1 文脈的・環境的情報なしに、人の意図を動作データのみから信頼性高く予測できるか？
• RQ2 同じ運動行動から意図を予測するタスクに、既存の行動認識および予測パイプラインはどの程度の性能を示すか？
• RQ3 同じ初期動作を持つにもかかわらず、異なる将来の行動を区別するための主要な運動学的手がかりは何か？
• RQ4 3次元モーショングラフと2次元動画のマルチモーダル融合は、この文脈での意図予測性能をどの程度向上させるか？
• RQ5 運動学的特徴のみで学習された新しい分類モデルは、この意図予測タスクで既存の手法を上回ることができるか？

主な発見

• 既存の行動認識および予測パイプラインは、同じ運動行動から意図を予測するタスクに、効果的に一般化できない。
• 提案されたマルチモーダルデータセットを用いることで、動作のみの特徴からも信頼性のある意図予測が可能であることが示され、Intention from Motionパラダイムの実現可能性が裏付けられた。
• 最先端の3次元および2次元行動認識モデルは、この新規タスクでは限界的な性能を示しており、現在のアプローチにギャップがあることが明らかになった。
• 3次元モーショングラフと2次元動画データの融合は性能を向上させるが、最も良い結果は、運動学的特徴のみで学習された専用分類モデルで達成された。
• 運動学的情報のみから意図を推定する新しい分類手法が、この特定のタスクで一般用途のモデルを上回る性能を発揮することに成功した。
• 結果から、初期の動きがほとんど同一であっても、運動学的特徴の微細な差が、異なる将来の行動を予測するのに十分な情報を保持していることが確認された。