[論文レビュー] HiT-DVAE: Human Motion Generation via Hierarchical Transformer Dynamical VAE

Xiaoyu Bie, W. Guo+4 more|arXiv (Cornell University)|Apr 4, 2022

Human Pose and Action Recognition被引用数 7

ひとこと要約

HiT-DVAE は、注意メカニズムを用いてデータ空間および潜在空間の両方における逐次的依存関係をモデル化する階層的トランスフォーマーに基づく動的変分オートエンコーダを提案する。これにより、多様で現実的で長時間にわたる動き予測が可能となる。HumanEva-I および Human3.6M において複数の指標で最先端の手法を上回り、動きの多様性、正確性、再構成品質の面で SOTA の結果を達成した。

ABSTRACT

Studies on the automatic processing of 3D human pose data have flourished in the recent past. In this paper, we are interested in the generation of plausible and diverse future human poses following an observed 3D pose sequence. Current methods address this problem by injecting random variables from a single latent space into a deterministic motion prediction framework, which precludes the inherent multi-modality in human motion generation. In addition, previous works rarely explore the use of attention to select which frames are to be used to inform the generation process up to our knowledge. To overcome these limitations, we propose Hierarchical Transformer Dynamical Variational Autoencoder, HiT-DVAE, which implements auto-regressive generation with transformer-like attention mechanisms. HiT-DVAE simultaneously learns the evolution of data and latent space distribution with time correlated probabilistic dependencies, thus enabling the generative model to learn a more complex and time-varying latent space as well as diverse and realistic human motions. Furthermore, the auto-regressive generation brings more flexibility on observation and prediction, i.e. one can have any length of observation and predict arbitrary large sequences of poses with a single pre-trained model. We evaluate the proposed method on HumanEva-I and Human3.6M with various evaluation methods, and outperform the state-of-the-art methods on most of the metrics.

研究の動機と目的

• 単一の潜在埋め込みを用いる従来の手法が、人間の動き生成におけるマルチモーダルリティを十分にモデル化できないという限界を解決すること。
• 従来の研究において、動き生成中に関連するフレームを選択するための注目メカニズムが欠如しているという課題を克服すること。
• 1つの事前学習済みモデルを用いて、任意の観測長および予測長を想定した自己回帰的で長時間のシーケンス生成を可能にすること。
• 観測されたポーズ系列と潜在空間分布の両方における時間相関ダイナミクスを同時にモデル化することで、動きの現実性と多様性を向上させること。
• 動的VAEとトランスフォーマーに基づく注目機構を組み合わせた階層的アーキテクチャを導入し、複雑で時間的に変化する潜在表現を学習すること。

提案手法

• 観測された3次元ポーズと潜在変数の間の時間的依存関係をモデル化する階層的トランスフォーマーに基づくアーキテクチャを提案する。
• 各時刻にシーケンスレベルの潜在変数 $ z_t $ を用いて時間的ダイナミクスを捉え、単一埋め込み符号化から動的潜在空間に置き換える。
• 次に予測するポーズのための関連する過去のフレームに注目するトランスフォーマー風の注目メカニズムを用いて自己回帰的生成を実装する。
• 動きの多様性を向上させるために、時間に依存しない潜在変数 $ \mathbf{w} $ を導入し、生成プロセスをグローバルな文脈で条件づける。
• 逐次的潜在空間上で再構成誤差とKLダイバージェンスの両方を最適化する変分推論の目的関数を用いてモデルを学習する。
• 学習の安定化と長時間シーケンスへの一般化性能の向上を図るため、訓練中にスケジューリングサンプリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 階層的トランスフォーマーに基づく動的VAEは、3次元人間の動きシーケンスにおける複雑な時間的依存関係を効果的に捉えることができるか？
• RQ2 固定またはRNNベースの注目メカニズムと比較して、注目メカニズムの使用が、動き生成のためのフレーム選択を改善するか？
• RQ3 平均的な動きパターンに収束することなく、多様で現実的で長時間にわたる動きシーケンスを生成できるか？
• RQ4 時間に依存しない潜在変数 $ \mathbf{w} $ の導入が、動きの多様性と生成品質に与える影響は何か？
• RQ5 動きの多様性、正確性、滑らかさの観点から、提案されたアーキテクチャは、既存のSOTA手法をどの程度上回るか？

主な発見

• HumanEva-I では、72.6% のアクション分類精度、0.089 のFID、4.721 のAPDを達成し、すべてのベースラインを上回る最高のパフォーマンスを発揮した。
• Human3.6M では、70.0% のアクション精度と1.708 のFIDを達成し、SOTA手法と比較して動きの現実性と多様性の面で優れた性能を示した。
• アブレーションスタディの結果、注目メカニズムや $ \mathbf{w} $ を削除すると、特に多様性と再構成品質において顕著な性能低下が生じた。
• スケジューリングサンプリングを導入しないモデルは、より多様ではあるが品質が低い動きを生成する傾向にあり、多様性と忠実度のトレードオフが顕在化した。
• アテンションと $ \mathbf{w} $ を含まないヴァニラDVAEベースライン（単一埋め込み）は、静的潜在状態に収束するため、提案された階層的で注目に基づく設計の必要性が明確になった。
• 定性的な結果から、HiT-DVAEはすべてのサンプルにおいて多様で妥当かつ現実的な動きシーケンスを生成しているのに対し、他の手法は繰り返しや不自然な動きを生成することが多かった。