[論文レビュー] Multi-Person Extreme Motion Prediction

W. Guo, Xiaoyu Bie+2 more|arXiv (Cornell University)|May 18, 2021

Human Pose and Action Recognition被引用数 9

ひとこと要約

本論文は、2人の相互作用する人物のための共同運動予測を導入し、両者の過去の3次元ポーズを統合的にモデル化することで、将来の運動予測を向上させるためのクロス相互作用アテンション（XIA）モジュールを提案する。プロのダンサーが極端なリンドイホップの動きを実行する新しいExPIデータセット上で評価された結果、短時間予測では最先端の単一人物手法よりも10–40%高い精度を達成し、長時間予測では5–30%の向上を示した。これは、複雑な人間の相互作用をモデル化する上で顕著な向上を示している。

ABSTRACT

Human motion prediction aims to forecast future poses given a sequence of past 3D skeletons. While this problem has recently received increasing attention, it has mostly been tackled for single humans in isolation. In this paper, we explore this problem when dealing with humans performing collaborative tasks, we seek to predict the future motion of two interacted persons given two sequences of their past skeletons. We propose a novel cross interaction attention mechanism that exploits historical information of both persons, and learns to predict cross dependencies between the two pose sequences. Since no dataset to train such interactive situations is available, we collected ExPI (Extreme Pose Interaction), a new lab-based person interaction dataset of professional dancers performing Lindy-hop dancing actions, which contains 115 sequences with 30K frames annotated with 3D body poses and shapes. We thoroughly evaluate our cross interaction network on ExPI and show that both in short- and long-term predictions, it consistently outperforms state-of-the-art methods for single-person motion prediction.

研究の動機と目的

• ダンスやチームスポーツのような高度に相互作用するシナリオにおける3次元人体運動予測のギャップを埋めるため。
• 2人の相互作用する人物の運動ダイナミクスを独立して扱うのではなく、統合的にモデル化する手法を開発するため。
• プロのダンサーが極端で相互作用的なリンドイホップの動きを実行する3次元ポーズとボディシェイプの新しい大規模かつ高品質なデータセット（ExPI）を収集・公開するため。
• 明確な訓練/テスト分割と評価プロトコルを備えた、共同運動予測のベンチマークを確立するため。
• 相互作用する人物間の依存関係をモデル化することで、特に足などの高動的関節において予測精度が顕著に向上することを示すため。

提案手法

• 2人の相互作用する人物の過去の3次元ポーズ系列を統合的に処理できる新しいクロス相互作用アテンション（XIA）モジュールを提案。これは、マルチヘッドアテンションを拡張したもので、両者の系列から得られるキー、クエリ、バリューのベクトルを用いて、相互作用的依存関係を動的にモデル化する。
• XIAは、両者の系列から得られるキーベクトル、クエリベクトル、バリューベクトルを用いて、2人の間のクロスアテンションを学習することで、相互作用的依存関係をモデル化する。
• XIAモジュールは、各時刻で他者からのコンテキストを統合できる、シーケンス・ツー・シーケンスの運動予測フレームワークに統合されている。これにより、時間的モデリングが強化される。
• モデルは、両者の予測誤差を同時に最小化する統合損失関数を用いて、エンド・ツー・エンドで訓練される。
• 汎化性能を検証するため、共通のアクション分割、単一アクション分割、未知のアクション分割の複数の設定で評価が行われる。
• アブレーションスタディでは、ポーズミキシング、連結、別々のモデルといったベースラインと比較され、XIAのクロスアテンション機構の優位性が確認された。

実験結果

リサーチクエスチョン

• RQ1 運動シーケンスにおける相互作用的依存関係をモデル化することで、相互作用的なシナリオにおける3次元人体運動予測の精度を顕著に向上させることができるか？
• RQ2 極端で高速な相互作用において、共同運動予測の性能は単一人物ベースラインと比べてどのように異なるか？
• RQ3 提案されたXIAモジュールは、複数人環境における未知のアクションや異なる相互作用タイプに一般化可能か？
• RQ4 空中ダンスポーズにおける高動的関節（特に足）の予測精度は、XIAモジュールによってどの程度向上するか？
• RQ5 高動的で相互作用的な運動シーケンスにおいて、長期間予測（500–1000 ms）におけるモデルの性能はいかがなっているか？

主な発見

• 提案されたXIAモデルは、短時間予測（≤500 ms）において、最先端の単一人物手法よりも10–40%高い精度を達成した。
• 長時間予測（500–1000 ms）においては、XIAモデルが単一人物ベースラインよりも5–30%の精度向上を示した。
• XIAモジュールは高動的関節、特に空中に浮遊する場合のフォロワーの足の予測において顕著な改善をもたらした。
• アブレーションスタディの結果、XIAによってキーやバリューの両方を更新することで最良の性能が得られ、XIAなしまたは部分的なアテンション更新のモデルよりも優れていることが確認された。
• 未知のアクション分割においても、XIAモデルは強力な汎化性能を示し、大多数のアクションでベースラインを上回った。これは、新しい相互作用タイプに対してもロバストであることを示している。
• XIAで訓練されたモデルは、個別の人物固有モデルを用いたすべてのベースラインを上回り、共同運動予測における相互作用的モデリングの価値を裏付けた。