[論文レビュー] Transflower: probabilistic autoregressive dance generation with multimodal attention.

Guillermo Valle Pérez, Gustav Eje Henter+4 more|arXiv (Cornell University)|Jun 25, 2021

Human Motion and Animation参考文献 87被引用数 9

ひとこと要約

本稿では、音楽と動きの長距離コンテキストに注目するマルチモーダルトランスフォーマーエンコーダーを備えた、3次元ダンス生成のための確率的自己回帰モデル「Transflower」を提案する。さらに、ポーズの分布をモデル化するためにノーマライジングフローを組み合わせている。これまでで最大の3次元ダンスデータセットを用いた評価において、多様で現実的で音楽に一致するダンス運動を生成する点で、ベースラインを上回っている。

ABSTRACT

Dance requires skillful composition of complex movements that follow rhythmic, tonal and timbral features of music. Formally, generating dance conditioned on a piece of music can be expressed as a problem of modelling a high-dimensional continuous motion signal, conditioned on an audio signal. In this work we make two contributions to tackle this problem. First, we present a novel probabilistic autoregressive architecture that models the distribution over future poses with a normalizing flow conditioned on previous poses as well as music context, using a multimodal transformer encoder. Second, we introduce the currently largest 3D dance-motion dataset, obtained with a variety of motion-capture technologies, and including both professional and casual dancers. Using this dataset, we compare our new model against two baselines, via objective metrics and a user study, and show that both the ability to model a probability distribution, as well as being able to attend over a large motion and music context are necessary to produce interesting, diverse, and realistic dance that matches the music.

研究の動機と目的

• 多様で現実的で音楽に条件づけられた3次元ダンス運動を生成する生成モデルを開発すること。
• 複雑な音声信号に条件づけられた高次元連続運動系列をモデル化する課題に取り組むこと。
• マルチモーダルトランスフォーマーエンコーダーを統合することで、動きと音楽の両方における長距離コンテキストモデリングを可能にすること。
• 客観的指標と人間による評価を併用して、現実性と音楽との整合性を評価すること。
• 複数のモーショングラップ技術を用いて収集された、プロとアマチュアのダンサーを含む、現時点で最大の3次元ダンス運動データセットを公開すること。

提案手法

• モデルは、ノーマライジングフローを用いて完全な条件付き分布をモデル化しながら、未来のポーズを段階的に予測する確率的自己回帰フレームワークを採用している。
• マルチモーダルトランスフォーマーエンコーダーは音声および動きの系列を処理し、両モalityにおける長距離依存性に注目できるようにしている。
• ノーマライジングフローは、過去のポーズとマルチモーダルコンテキスト埋め込みに条件づけられており、柔軟で表現力豊かな密度推定を可能にしている。
• 事前学習済み音楽エンコーダーからの音声埋め込みと、トランスフォーマーに基づく動きエンコーダーからの動き埋め込みを統合している。
• 観測された動き系列の対数尤度を最適化するために、エンドツーエンドで学習しており、最大尤度推定を用いている。
• 学習済み分布からのサンプリングが可能であり、多様で現実的なダンス生成を実現している。

実験結果

リサーチクエスチョン

• RQ1 ノーマライジングフローを用いた確率的自己回帰モデルは、決定的ベースラインと比較して、より多様で現実的な3次元ダンス運動を生成できるか？
• RQ2 長距離の音楽と動きのコンテキストに対するマルチモーダル注目は、ダンスと音楽の整合性を向上させるのにどの程度有効か？
• RQ3 将来のポーズの分布を完全にモデル化することは、点推定と比較して生成品質を向上させるか？
• RQ4 異なるモーショングラップ技術とダンサーの種別（プロ／アマチュア）は、ダンス運動データの品質と多様性にどのような影響を与えるか？
• RQ5 分布モデリングと長距離コンテキスト注目機能の相対的寄与度は、高品質なダンスシーケンス生成においてどのように評価できるか？

主な発見

• 提案モデルは、客観的指標とユーザースタディーの両方において2つのベースラインを上回り、優れた現実性と音楽との整合性を示した。
• アブレーションスタディーにより、ノーマライジングフローによる分布モデリングと長距離コンテキストマルチモーダル注目が、高品質な生成に不可欠であることが確認された。
• ユーザースタディーの結果、両方のコンポーネントが存在する場合、生成された動きがより多様で現実的であると評価された。
• モデルは、入力音楽と強いリズム的・トーナル的同期を示す動きシーケンスを生成した。
• 新たに公開された3次元ダンス運動データセットにより、より強固な学習と評価が可能となり、今後のダンス生成分野の研究を支援する。