[論文レビュー] Long-term Human Motion Prediction with Scene Context

Zhe Cao, Hang Gao+4 more|arXiv (Cornell University)|Jul 7, 2020

Human Pose and Action Recognition参考文献 68被引用数 8

ひとこと要約

本論文は、最初に複数の未来の動きのゴールをサンプリングし、次にそれらのゴールに向けて3Dパスを計画し、最後に3Dポーズ系列を生成する、3段階のディーブラーニングフレームワークを提案する。この手法は、高品質な3Dアノテーションを備えた大規模な新しい合成データセットを用いて、シーンに配慮したゴール指向の推論を組み込むことで、合成データおよび実データの両方で最先端の性能を達成している。

ABSTRACT

Human movement is goal-directed and influenced by the spatial layout of the objects in the scene. To plan future human motion, it is crucial to perceive the environment -- imagine how hard it is to navigate a new room with lights off. Existing works on predicting human motion do not pay attention to the scene context and thus struggle in long-term prediction. In this work, we propose a novel three-stage framework that exploits scene context to tackle this task. Given a single scene image and 2D pose histories, our method first samples multiple human motion goals, then plans 3D human paths towards each goal, and finally predicts 3D human pose sequences following each path. For stable training and rigorous evaluation, we contribute a diverse synthetic dataset with clean annotations. In both synthetic and real datasets, our method shows consistent quantitative and qualitative improvements over existing methods.

研究の動機と目的

• 既存の運動予測手法がシーンの文脈を無視するという限界を是正し、長期的かつグローバルな運動予測に失敗することを防ぐ。
• 空間的なレイアウトが影響を与えるゴール指向の行動として人体運動をモデル化することで、より現実的で多様な長期的予測を可能にする。
• 明示的な3次元シーン再構築を必要とせず、人間とシーンの相互作用データからシーン制約を暗黙的に捉える学習ベースのフレームワークを開発する。
• 高品質な3次元アノテーションを備えた大規模かつ多様な合成データセットを提供し、実世界データに対する訓練の安定性と一般化性能を向上させる。

提案手法

• フレームワークはまず、現在の位置から画像空間内の複数の妥当な2次元到着地点（目的地）をサンプリングするゴール予測ネットワークを用いる。
• 次に、シーンの幾何構造に条件づけられた3次元パス計画ネットワークを用いて、現在位置から各予測ゴールへの3次元軌道を生成する。
• ポーズ生成ネットワークが、各3次元パスに沿って時間的に整合性があり物理的に妥当な3次元人体ポーズ系列を予測する。
• モデルは、GTAゲームエンジンから得た100万フレームを超える高精細RGB-Dフレームとクリアな3次元アノテーションを備えた合成データセットを用いて、エンドツーエンドで訓練される。
• ゴールの確率的サンプリングにより、マルチモーダルな予測が可能となり、長期的運動系列の多様性と現実性が向上する。
• 合成データセットでの事前学習により、実世界ベンチマークにおける性能が向上し、データ効率性とロバスト性が示された。

実験結果

リサーチクエスチョン

• RQ1 シーンの文脈を組み込むことで、短期的・局所的運動モデルの限界を超えて、長期的3次元人体運動予測が著しく改善されるか？
• RQ2 2次元入力のみを用いて、シーンに配慮した形でマルチモーダルな未来の運動予測をどのように生成できるか？
• RQ3 データ駆動型で暗黙的な学習アプローチが、シーン幾何制約を伴う明示的3次元パス計画をどの程度代替できるか？
• RQ4 クリアな3次元アノテーションを備えた大規模な合成データセットが、実世界の運動予測における一般化性能と訓練安定性をどの程度向上できるか？
• RQ5 決定論的手法と比較して、確率的ゴールサンプリングが長期的運動予測の多様性と現実性をどの程度向上させるか？

主な発見

• 提案手法は、合成データおよび実データの両方で、既存手法よりも一貫した定量的改善を達成し、3次元ポーズおよび位置の指標において予測誤差が低減した。
• 5サンプルの確率的予測は、決定論的手法のベースラインを上回り、3秒予測ステップでは100 mmを超える性能差が示された。
• 定性的な結果から、シーンレイアウトに影響を受ける多様で現実的な運動系列（旋回、Uターン、階段の上り下り、座る・立つ移行など）が生成された。
• 明示的な3次元シーン再構築がなくても、重大な衝突を避ける妥当な3次元パスが生成されており、効果的な暗黙的シーン制約学習が示された。
• 失敗事例では、わずかな足とシーンの干渉（例：足がベッドを通り抜ける）が観察されたため、マルチビュー入力や明示的な幾何制約の導入による改善の余地がある。
• 合成データセットでの事前学習により、実データに対するゼロショット性能が顕著に向上し、データが乏しい状況においても合成データの価値が示された。