[論文レビュー] TEMOS: Generating diverse human motions from textual descriptions

Mathis Petrovich, Michael J. Black+1 more|arXiv (Cornell University)|Apr 25, 2022

Human Pose and Action Recognition被引用数 13

ひとこと要約

TEMOSは、テキストエンコーダーによってパrameter化された分布からサンプリングされた潜在変数に条件づけられた、変分オートエンコーダー（VAE）に基づくテキストからモーションへの変換モデルを提案する。このモデルは、テキストとモーションの両方を統合的に扱うクロスモodalなTransformerアーキテクチャを用い、自然言語の記述から多様な3次元人体モーションを生成する。各記述に対して複数の妥当なモーションを生成でき、KIT Motion-Languageベンチマークにおいて、定量的指標と人的知覚評価の両面で最先端の性能を達成した。

ABSTRACT

We address the problem of generating diverse 3D human motions from textual descriptions. This challenging task requires joint modeling of both modalities: understanding and extracting useful human-centric information from the text, and then generating plausible and realistic sequences of human poses. In contrast to most previous work which focuses on generating a single, deterministic, motion from a textual description, we design a variational approach that can produce multiple diverse human motions. We propose TEMOS, a text-conditioned generative model leveraging variational autoencoder (VAE) training with human motion data, in combination with a text encoder that produces distribution parameters compatible with the VAE latent space. We show the TEMOS framework can produce both skeleton-based animations as in prior work, as well more expressive SMPL body motions. We evaluate our approach on the KIT Motion-Language benchmark and, despite being relatively straightforward, demonstrate significant improvements over the state of the art. Code and models are available on our webpage.

研究の動機と目的

• 自然言語の記述から多様で現実的な3次元人体モーションを生成する課題に取り組む。これは、しばしば曖昧で複数の解釈が可能なためである。
• 従来の手法がテキスト入力ごとに1つの決定的モーションしか生成しないという制限を克服するため、モーションを単一のシーケンスではなく、分布としてモデル化する。
• 自己回帰的デコードを避けることで、時間経過に伴う誤差の累積やドリフトを回避する、シーケンスレベルの生成モデルを構築する。
• 同じテキスト条件付きフレームワークを用いて、スケルトンベースとSMPLベースの全身メッシュモーションの両方を生成可能にする。
• 標準的な指標が確率的モーション生成において限界を示すことを認識し、定量的評価に加えて人的知覚評価を用いた評価を実施する。

提案手法

• 変分オートエンコーダー（VAE）フレームワークを採用し、モーション生成がテキストエンコーダーによってパラメータ化された分布からサンプリングされた潜在ベクトルに条件づけられる。
• テキストとモーションシーケンスは別々のTransformerエンコーダーで符号化され、共通のクロスモーダル潜在空間に投影される。
• モーションデコーダーは、位置エンコーディングと1つの潜在ベクトルを用いたTransformerアーキテクチャを採用し、1回の順伝播で全3次元モーションシーケンスを生成する。自己回帰的生成を回避する。
• モデルはKIT Motion-Languageデータセット上でエンドツーエンドに学習され、テキストエンコーダーがVAEの潜在分布のパラメータ（平均と対数分散）を出力する。
• このフレームワークは、スケルトンジョイントシーケンスとSMPLボディメッシュシーケンスの両方の生成をサポートし、より表現力豊かなモーション合成を可能にする。
• モデルは、完全に真値の最初のフレームなしでモーションを生成する設定（スクラッチからの生成）を含む、さまざまな設定で評価され、主要なアーキテクチャ的要因を分離するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 シーケンスレベルで自己回帰的でない生成モデルは、自然言語の記述から多様で現実的な3次元人体モーションを生成できるか？
• RQ2 共有クロスモーダル潜在空間を用いたVAEベースのアプローチは、自己回帰的モデルと比較して、モーションの多様性と品質においてどのように異なるか？
• RQ3 全シーケンス生成に1つの潜在ベクトルを用いることで、自己回帰的デコードと比較してどの程度性能が向上するか？
• RQ4 最初の真値フレームに条件づけない状態で、完全なモーションをスクラッチから生成する場合、モデルの性能はどの程度か？
• RQ5 テキストエンコーダーのファインチューニングはモデル性能にどのような影響を及けるか？また、固定した場合により良い結果が得られるか？

主な発見

• TEMOSはKIT Motion-Languageベンチマークで最先端の性能を達成し、定量的指標と人的知覚評価の両面で先行研究を上回った。
• モデルは1つのテキスト入力に対して複数の多様で妥当なモーションシーケンスを生成でき、曖昧な言語記述に内在する自由度を効果的に探索した。
• アブレーションスタディの結果、先行研究との主な差異は、自己回帰的デコードではなく、1つの潜在ベクトルを用いた非自己回帰的でシーケンスレベルの生成に起因していることが示された。
• 従来の手法と比較して、位置エラーと分散エラーを顕著に低減した。言語モデルを固定した場合、ボーンジョイントの平均位置エラーは0.963、グローバルトラジェクトリの平均位置エラーは0.955であった。
• 言語モデルのファインチューニングは性能向上に寄与しなかった。これは、このタスクにおいてテキストエンコーダーを固定することで、より良い一般化性能が得られることを示唆している。
• 定性的な結果から、モデルは、アクションが曖昧であっても、テキスト記述を尊重する多様なSMPLベースのボディモーションを生成でき、動画例から視覚的な多様性が確認された。