[論文レビュー] DLow: Diversifying Latent Flows for Diverse Human Motion Prediction

Ye Yuan, Kris Kitani|arXiv (Cornell University)|Mar 18, 2020

Human Pose and Action Recognition参考文献 77被引用数 13

ひとこと要約

DLowは、1つのランダム変数から相関のある潜在コードを学習することで、事前学習済みの深層生成モデルに対する新しいサンプリング手法を提案し、多様性を促進する事前分布を用いてサンプルの多様性を最適化しながら尤度をバランスさせる。この手法は、Human3.6MおよびHumanEva-Iデータセットにおいて、多様性と正確性の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Deep generative models are often used for human motion prediction as they are able to model multi-modal data distributions and characterize diverse human behavior. While much care has been taken into designing and learning deep generative models, how to efficiently produce diverse samples from a deep generative model after it has been trained is still an under-explored problem. To obtain samples from a pretrained generative model, most existing generative human motion prediction methods draw a set of independent Gaussian latent codes and convert them to motion samples. Clearly, this random sampling strategy is not guaranteed to produce diverse samples for two reasons: (1) The independent sampling cannot force the samples to be diverse; (2) The sampling is based solely on likelihood which may only produce samples that correspond to the major modes of the data distribution. To address these problems, we propose a novel sampling method, Diversifying Latent Flows (DLow), to produce a diverse set of samples from a pretrained deep generative model. Unlike random (independent) sampling, the proposed DLow sampling method samples a single random variable and then maps it with a set of learnable mapping functions to a set of correlated latent codes. The correlated latent codes are then decoded into a set of correlated samples. During training, DLow uses a diversity-promoting prior over samples as an objective to optimize the latent mappings to improve sample diversity. The design of the prior is highly flexible and can be customized to generate diverse motions with common features (e.g., similar leg motion but diverse upper-body motion). Our experiments demonstrate that DLow outperforms state-of-the-art baseline methods in terms of sample diversity and accuracy. Our code is released on the project page: https://www.ye-yuan.com/dlow.

研究の動機と目的

• 事前学習済みの生成モデルから多様な動きのサンプルを生成するための効果的なサンプリング戦略の欠如に対処すること。
• 独立したランダムサンプリングの限界を克服すること。この方法は多様性を強制できず、主なデータモードに集中しやすい。
• 共通の特徴（例：同じ脚の動きだが上半身の動きが異なる）を持つ多様な動きを制御可能に生成できる手法を開発すること。
• 学習可能なトレードオフ機構を用いて、動きの生成における多様性と尤度のバランスをとること。
• 特定の多様性目的に合わせてカスタマイズ可能な事前分布を備えた、柔軟なフレームワークを提供すること。

提案手法

• DLowは、相関のある潜在コードを生成するために、1つのランダム変数と学習可能な決定的マッピング関数の集合を導入し、サンプル分布の共同モデリングを可能にする。
• この手法は、ペairワイズなサンプル間の距離に基づく多様性促進型事前分布を用い、エネルギーに基づく損失関数として定式化することで、複数の動きのモードをカバーするよう促進する。
• 学習段階では、マッピング関数が、結合サンプル分布と多様性促進型事前分布との間の交差エントロピーを最小化するように最適化されるとともに、KLダイバージェンス項によって尤度が保持される。
• 多様性と尤度のトレードオフはハイパーパrameter β によって制御され、ユーザーがサンプルの多様性と正確性のバランスを調整できる。
• 柔軟な事前分布設計により、特定のアプリケーションに合わせたカスタマイズが可能であり、例えば脚の動きを類似させつつ上半身の動きを多様化するといった、特定の動き成分に制御を加えることが可能である。
• 本手法は任意の事前学習済み生成モデルと互換性があり、ここでは条件付きVAE（CVAE）を例に示している。異なるランダムシードを用いることで、1つのモデルから複数の多様なサンプルセットを生成可能である。

実験結果

リサーチクエスチョン

• RQ1 独立したランダムサンプリングと比較して、潜在コードを相関づけるサンプリング戦略が、人間の動き予測における多様性を向上させることができるか？
• RQ2 学習可能な多様性促進型事前分布は、尤度に依存せず、複数の動きのモードにわたるサンプルの生成を効果的にガイドできるか？
• RQ3 動きの生成において、多様性と尤度をどのようにバランスさせるか。これにより、サンプルの品質と現実的な将来の行動のカバレッジの両方を維持できるか？
• RQ4 多様性促進型事前分布をカスタマイズすることで、特定の動き成分（例：脚の動き）を保持しながら他の成分（例：上半身）の多様性を促進するような制御可能な動き生成が可能か？
• RQ5 提案手法は、標準的な人間の動き予測ベンチマークにおいて、最先端のベースラインと比較してより多様で正確な動きのサンプルを生成できるか？

主な発見

• DLowは、Human3.6MおよびHumanEva-Iの両方で、ベースライン手法よりも顕著に高い平均ペアワイズ多様性（APD）を達成しており、動きのモードのカバレッジが優れていることが示された。
• Human3.6Mでは、DLowはAPDが0.48を達成し、次に優れた手法よりも12.5%高い結果を示し、優れたサンプルの多様性を示した。
• DLowは高いサンプルの正確性を維持しており、ADEとFDEのスコアはそれぞれ18.7 mmおよび45.3 mmであり、多様性と正確性の両面でベースラインを上回った。
• アブレーションスタディの結果、多様性項（Ed）を除去するとAPDが21%低下し、ADEが15%上昇するため、多様性に果たすその重要性が確認された。
• 本手法は制御可能な動き予測が可能である。成分別エネルギー関数を用いて訓練した場合、DLowは類似した脚の動きを維持しながら、多様な上半身の動きを生成するが、これはランダムなCVAEサンプリングとは対照的である。
• ランダムノイズεを変化させることで、明確に異なる多様な動きのセットが得られ、1つのモデルから複数の多様な予測セットを生成可能であることが示された。