[論文レビュー] BiHMP-GAN: Bidirectional 3D Human Motion Prediction GAN

Jogendra Nath Kundu, Maharshi Gor+1 more|ePrints@IISc (Indian Institute of Science)|Dec 6, 2018

Human Pose and Action Recognition参考文献 18被引用数 5

ひとこと要約

BiHMP-GAN は、学習された内在的ポーズ表現と、事前分布から抽出されたランダムな外在的要因 $ r $ を組み合わせることで、確率的未来ポーズ系列をモデル化する双方向的生成対抗ネットワークを提案する。修正されたディスクライマーを用いて $ r $ を回帰し、コンテンツの一貫性を強制することで、多様で一貫性があり高精細な動き系列を生成し、Human 3.6M データセットにおいて、長期予測精度と表現力の面で、決定論的および先行の生成手法を上回る性能を発揮する。

ABSTRACT

Human motion prediction model has applications in various fields of computer vision. Without taking into account the inherent stochasticity in the prediction of future pose dynamics, such methods often converges to a deterministic undesired mean of multiple probable outcomes. Devoid of this, we propose a novel probabilistic generative approach called Bidirectional Human motion prediction GAN, or BiHMP-GAN. To be able to generate multiple probable human-pose sequences, conditioned on a given starting sequence, we introduce a random extrinsic factor r, drawn from a predefined prior distribution. Furthermore, to enforce a direct content loss on the predicted motion sequence and also to avoid mode-collapse, a novel bidirectional framework is incorporated by modifying the usual discriminator architecture. The discriminator is trained also to regress this extrinsic factor r, which is used alongside with the intrinsic factor (encoded starting pose sequence) to generate a particular pose sequence. To further regularize the training, we introduce a novel recursive prediction strategy. In spite of being in a probabilistic framework, the enhanced discriminator architecture allows predictions of an intermediate part of pose sequence to be used as a conditioning for prediction of the latter part of the sequence. The bidirectional setup also provides a new direction to evaluate the prediction quality against a given test sequence. For a fair assessment of BiHMP-GAN, we report performance of the generated motion sequence using (i) a critic model trained to discriminate between real and fake motion sequence, and (ii) an action classifier trained on real human motion dynamics. Outcomes of both qualitative and quantitative evaluations, on the probabilistic generations of the model, demonstrate the superiority of BiHMP-GAN over previously available methods.

研究の動機と目的

• 決定論的モーション予測モデルの限界、すなわち平均ポーズに収束してしまうことによる、現実的でない低多様性の出力を是正すること。
• ヒューマンモーションダイナミクスに内在する確率的性質を捉える確率的生成フレームワークを構築し、長期的な未来ポーズ予測を実現すること。
• コンテンツ損失とモードカバレッジをサポートする双方向のトレーニングおよび推論設定を導入することで、生成モーションモデルの信頼性ある評価を可能にすること。
• 直接的なコンテンツ損失を統合し、外在的要因 $ r $ を回帰する修正されたディスクライマーを用いることで、生成品質を向上させ、モード崩壊を回避すること。
• 短期間および長期のモーション予測タスクにおいて、決定論的および先行の生成モデルを上回る優れた性能を示すこと。

提案手法

• ディスクライマーがランダムな外在的要因 $ r $ を回帰するようにトレーニングされる双方向 GAN アーキテクチャを導入し、より良い分離とコンテンツ制御を実現する。
• 過去のポーズ系列（内在的要因）とランダムベクトル $ r $（外在的要因）を入力として受け取る条件付き生成モデルを採用し、未来のポーズ系列を生成する。
• トレーニング中に再帰的予測戦略を採用し、中間で予測されたポーズ系列を次の予測の条件付けに使用することで、時間的整合性を向上させる。
• 生成されたモーション系列全体に対して直接的なコンテンツ損失（MSE）を導入し、トレーニングの安定化とモード崩壊の回避を図る。
• 実際のモーションデータでトレーニングされたクリティックモデルとアクション分類器を用い、生成された系列の現実性と表現力を評価する。
• ポーズ埋め込み変換を適用することで、モーション系列の表現品質を向上させ、現実的でないポーズフレームの発生を低減する。

実験結果

リサーチクエスチョン

• RQ1 分離された潜在要因（内在的ポーズ + 外在的ノイズ）を有する生成モデルは、多様で現実的かつ一貫性のある 3D ヒューマンモーション系列を生成できるか？
• RQ2 ディスクライマーが外在的要因 $ r $ を回帰する双方向トレーニングは、生成品質の向上とモード崩壊の回避にどのように寄与するか？
• RQ3 生成されたモーション系列全体に対する直接的なコンテンツ損失の統合は、特に長期予測において、予測精度をどの程度向上させるか？
• RQ4 提案されたフレームワークは、ベンチマークデータセットにおいて、多様性、一貫性、正確性の観点で、決定論的および先行の生成モデルを上回ることができるか？
• RQ5 再帰的予測正則化戦略は、長時間系列において時間的整合性を維持する能力を向上させるか？

主な発見

• BiHMP-GAN は、RRNN や Conv-Motion といった決定論的モデルよりも顕著に低い平均予測誤差を達成しており、特に長期予測ホライズン（例：1000 ms）において、平均ポーズへの収束が抑制されていることが示された。
• 最良ケースの予測誤差（$ Ours(r^{ ext{prime}}) $）は、HP-GAN や決定論的手法を常に下回っており、最適な $ r $ が得られた際の優れた正確性を示している。
• 1000 個のランダムな $ r $ ベクトルにおける最小誤差（$ Ours(min_{err}) $）は、HP-GAN よりも顕著に低く、BiHMP-GAN がモーション生成において優れた表現力と多様性を有していることを裏付けている。
• 定性的な結果から、同じ入力に対して BiHMP-GAN は多様なモーション系列を生成しているのに対し、HP-GAN は異なる $ r $ 値に対しても類似した出力を生成している。
• 双方向構成により、クリティックとアクション分類器を用いた予測品質の有効な評価が可能となり、生成されたモーションの現実性と意味的整合性が確認された。
• アブレーションスタディの結果、ポーズ埋め込み、再帰的予測、分離された $ r $-回帰機構が、それぞれ性能向上に顕著な寄与をしていることが確認された。