[論文レビュー] Aggregated Multi-GANs for Controlled 3D Human Motion Prediction

Zhenguang Liu, Kedi Lyu+4 more|arXiv (Cornell University)|Mar 17, 2021

Human Pose and Action Recognition参考文献 30被引用数 12

ひとこと要約

本論文は、異なる動作や身体部位における未来の動きの微細な操作を可能にする、制御可能な3次元人体運動予測のための新規フレームワークであるAggregated Multi-GANs (AM-GAN)を提案する。人体の運動を局所的な運動学的チェーン（背骨と四肢）に分解し、それぞれを個別のGANでモデル化し、グローバルGANによって統合することで、短期および長期予測の両方で最先端の性能を達成するとともに、アクショントランスファーと身体部位別制御をサポートする。

ABSTRACT

Human motion prediction from historical pose sequence is at the core of many applications in machine intelligence. However, in current state-of-the-art methods, the predicted future motion is confined within the same activity. One can neither generate predictions that differ from the current activity, nor manipulate the body parts to explore various future possibilities. Undoubtedly, this greatly limits the usefulness and applicability of motion prediction. In this paper, we propose a generalization of the human motion prediction task in which control parameters can be readily incorporated to adjust the forecasted motion. Our method is compelling in that it enables manipulable motion prediction across activity types and allows customization of the human movement in a variety of fine-grained ways. To this aim, a simple yet effective composite GAN structure, consisting of local GANs for different body parts and aggregated via a global GAN is presented. The local GANs game in lower dimensions, while the global GAN adjusts in high dimensional space to avoid mode collapse. Extensive experiments show that our method outperforms state-of-the-art. The codes are available at https://github.com/herolvkd/AM-GAN.

研究の動機と目的

• 既存の運動予測モデルが同じアクティビティ内での単一で決定的な未来シーケンスの予測しかできないという制限に対処すること。
• 新しいアクティビティへの遷移をサポートし、特定の身体部位に対して微細な制御が可能な制御可能な運動生成を実現すること。
• 局所的なGANを用いた分割統治戦略を適用することで、高次元の運動生成の複雑さを低減すること。
• 時間的整合性と自然なダイナミクスを維持したまま、短期および長期の運動予測の質を向上させること。
• カスタマイズ可能で、複数のアクティビティおよび複数の身体部位の制御が可能な、制御可能な3次元人体運動予測の新しいベンチマークを確立すること。

提案手法

• 中央の背骨と4本の四肢それぞれに1つのGANを有する階層的GANアーキテクチャを採用し、局所的な運動モデリングを可能にする。
• 各局所GANは、次元が低い空間でそれぞれの運動学的チェーンの運動を生成することで、複雑さを低減し、学習の安定性を向上させる。
• グローバルGANは、局所GANの出力を高次元のポーズ空間に集約し、全体の運動の一貫性とチェーン間ダイナミクスのバランスを保証する。
• 生成器は、ターゲットアクティビティまたは身体部位の挙動を指定する制御パrameterに条件付けられており、これによりアクショントランスファーと微細な制御が可能になる。
• 短時間の精度と長期の一貫性の両方を最適化するため、局所的およびグローバルなレビューアーを併用して、モード崩壊を緩和する。
• 実現可能で多様な運動出力を保証するため、敵対的損失、再構成損失、およびサイクル一貫性正則化を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 運動予測モデルは、現在のアクティビティとは異なる多様で妥当な未来の運動シーケンスを生成できるか？
• RQ2 モデルは、未来の運動予測中に個々の身体部位に対して微細な制御をサポートできるか？
• RQ3 モデルは、歩行から食事へのような、1つのアクティビティから別のアクティビティへの滑らかな遷移を実現できるか？
• RQ4 運動生成を局所的な運動学的チェーンに分解することで、予測性能と制御性が向上するか？
• RQ5 集約されたGANアーキテクチャは、単一のGANやマルチ-GANベースラインと比較して、短期および長期の運動予測の両方で優れた性能を示すか？

主な発見

• AM-GANは、Human3.6Mデータセットにおいて、短期および長期の3次元人体運動予測の両方で、新たな最先端性能を達成した。
• 周期性が低く、運動が不規則な複雑な非周期的アクティビティ（例：『会話』）において、予測精度が顕著に向上した。
• アブレーションスタディの結果、サブ-GANの使用と分割統治戦略が、単一のGANよりも優れた性能を示し、特に複雑なアクティビティにおいて顕著であった。
• 局所的レビューアーは短期予測の質を向上させ、グローバルレビューアーは長期的な運動の一貫性と整合性を改善した。
• 可視化結果から、HMRやQuaterNetと比較して、AM-GANはより自然で滑らかで現実的な運動シーケンスを生成していることが示された。
• フレームワークは、歩行から食事へのような、妥当なアクティビティ間遷移を成功裏に生成でき、また、体が歩いている間にも右腕だけを食事動作に制御するような身体部位別制御も可能であった。