[論文レビュー] Music-oriented Dance Video Synthesis with Pose Perceptual Loss

Xuanchi Ren, Haoran Li+2 more|arXiv (Cornell University)|Dec 13, 2019

Human Motion and Animation参考文献 44被引用数 19

ひとこと要約

本稿では、任意の音楽からリアルなビートに合わせたダンス動画を生成する二段階のGANベースのフレームワークを提案する。ノイズの多いOpenPose骨格データ上で学習するための新しいポーズ知覚損失を導入し、局所的時間的およびグローバルコンテンツの二重判別器を用いて動きの整合性とリズム整合性を確保することで、プロの振り付けと同等のユーザー認識上のリアリズムを達成した。

ABSTRACT

We present a learning-based approach with pose perceptual loss for automatic music video generation. Our method can produce a realistic dance video that conforms to the beats and rhymes of almost any given music. To achieve this, we firstly generate a human skeleton sequence from music and then apply the learned pose-to-appearance mapping to generate the final video. In the stage of generating skeleton sequences, we utilize two discriminators to capture different aspects of the sequence and propose a novel pose perceptual loss to produce natural dances. Besides, we also provide a new cross-modal evaluation to evaluate the dance quality, which is able to estimate the similarity between two modalities of music and dance. Finally, a user study is conducted to demonstrate that dance video synthesized by the presented approach produces surprisingly realistic results. The results are shown in the supplementary video at https://youtu.be/0rMuFMZa_K4

研究の動機と目的

• 任意の音楽入力から写真のようにリアルで音楽に合わせたダンス動画を生成し、パーソナライズされたコンテンツ作成を可能にすること。
• 従来の手法における音楽からダンスへの曖昧な対応関係と非自然な動きの課題に取り組むこと。
• 人間がアノテートした真値ポーズが存在しないノイズの多い弱教師あり骨格シーケンス上で効果的にモデルを学習すること。
• 音楽とダンスの動きの間の類似性を測る新しいクロスモーダル評価指標を開発すること。
• 合成されたダンス動画がユーザースタディにおいて本物の振り付けと区別がつかないことを示すこと。

提案手法

• フレームワークは二段階のパイプラインを採用：まず音楽から人間の骨格シーケンスを生成し、次に学習されたポーズから外見へのマッピングにより写真的にリアルな動画に変換する。
• 音楽エンコーダーが0.1秒の音声クリップを埋め込み表現に変換し、双方向GRUとポーズジェネレータを介して骨格シーケンスを生成する。
• 予測された骨格と参照骨格の内部特徴表現を比較することで、動きの妥当性を向上させるために新しいポーズ知覚損失を導入する。
• 二つの判別器を用いる：局所的時間的判別器は短期間の動きの整合性とリズム整合性を強制し、グローバルコンテンツ判別器は長期的な動きの調和と感情の一貫性を保証する。
• 事前学習済みの音楽特徴抽出器と三重項ベースのメトリック学習アプローチを用いて、音楽と生成されたダンスシーケンスの類似性を測るクロスモーダル評価指標を提案する。
• アドバーシャル損失を用いてエンドツーエンドでモデルを訓練するが、ポーズ知覚損失のおかげで、人間が検証したラベルがなくてもノイズの多いOpenPoseデータ上で効果的に学習できる。

実験結果

リサーチクエスチョン

• RQ1 高品質で人間がアノテートした骨格データが不要な状態で、深層学習モデルが任意の音楽からリアルでビートに合わせたダンス動画を生成できるか？
• RQ2 OpenPoseから得られるノイズの多い不完全な骨格シーケンス上で学習する際、ポーズ知覚損失はどのように動きの妥当性を向上させるか？
• RQ3 二重判別器アーキテクチャは、生成されたダンスシーケンスの整合性とリズム整合性をどの程度向上させるか？
• RQ4 新しいクロスモーダル評価指標は、音楽とダンスの動きの間の意味的類似性を効果的に測定できるか？
• RQ5 合成されたダンス動画は、知覚的品質とリアリズムの観点から、本物の振り付けと比べてどの程度の水準にあるか？

主な発見

• プロのダンサー7名を含む27名の参加者によるユーザースタディでは、43.0％の比較で合成ダンスシーケンスが真値骨格よりも好まれ、人間の振り付けと同等の知覚的リアリズムを示した。
• 提案されたポーズ知覚損失は、ノイズの多いOpenPoseデータ上で学習しても、非自然なポーズを顕著に減少させ、動きの妥当性を著しく向上させた。
• 局所的およびグローバルな二重判別器アーキテクチャは、L1/L2または標準GAN損失のみを用いたベースラインモデルと比較して、より整合性がありリズムに合わせた骨格シーケンスを生成した。
• クロスモーダル評価指標は、音楽とダンスの類似性を効果的に推定でき、K-means（K=5）とMaximum Mean Discrepancyを用いたクラスタリングおよび埋め込み分析により妥当性が検証された。
• BRISQUEを用いた定量的評価では、グローバルコンテンツ判別器とポーズ知覚損失の両方を適用した場合、動画品質が向上し、低いスコアがより高い知覚的品質を示した。
• ランダムベースライン（Rand Frame および Rand Seq）は有意に悪いBRISQUEスコアを示し、モデルの性能がランダムなフレームまたはシーケンス選択によるものではないことを確認した。