[論文レビュー] Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning

Ruozi Huang, Hu Huang+4 more|arXiv (Cornell University)|Jun 11, 2020

Human Pose and Action Recognition参考文献 62被引用数 52

ひとこと要約

本論文は長期の音楽条件付きダンス生成のための seq2seq アーキテクチャを提示し、自己回帰的エラー蓄積を低減するためのカリキュラム学習を導入して、従来手法より優れた結果を達成した。

ABSTRACT

Dancing to music is one of human's innate abilities since ancient times. In machine learning research, however, synthesizing dance movements from music is a challenging problem. Recently, researchers synthesize human motion sequences through autoregressive models like recurrent neural network (RNN). Such an approach often generates short sequences due to an accumulation of prediction errors that are fed back into the neural network. This problem becomes even more severe in the long motion sequence generation. Besides, the consistency between dance and music in terms of style, rhythm and beat is yet to be taken into account during modeling. In this paper, we formalize the music-conditioned dance generation as a sequence-to-sequence learning problem and devise a novel seq2seq architecture to efficiently process long sequences of music features and capture the fine-grained correspondence between music and dance. Furthermore, we propose a novel curriculum learning strategy to alleviate error accumulation of autoregressive models in long motion sequence generation, which gently changes the training process from a fully guided teacher-forcing scheme using the previous ground-truth movements, towards a less guided autoregressive scheme mostly using the generated movements instead. Extensive experiments show that our approach significantly outperforms the existing state-of-the-arts on automatic metrics and human evaluation. We also make a demo video to demonstrate the superior performance of our proposed approach at https://www.youtube.com/watch?v=lmE20MEheZ8.

研究の動機と目的

• 音楽から長いダンス列を生成する課題を動機づける。
• 長い音楽特徴列を処理できる.seq2seq モデルを開発する。
• 自己回帰的ダンス生成におけるエラー蓄積の問題に対処する。
• 教師付き強制から自己回帰生成へ訓練を移行させるカリキュラム学習を導入する。
• 最新手法より性能の改善を示す。

提案手法

• 音楽条件付きダンス生成をシーケンス対シーケンス学習として形式化する。
• 長い音楽特徴を効率的に処理し、微細な音楽とダンスの対応を捉える新規の seq2seq アーキテクチャを提案する。
• 生成された動きを用いた自己回帰生成へ徐々にシフトする教師フォーシングからのカリキュラム学習戦略を導入する。
• 長期モーション列生成におけるエラー蓄積を緩和するために訓練ダイナミクスを活用する。
• 自動指標と人間評価を用いて評価し、優れた性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 長い音楽特徴列を効率的に処理して対応するダンス列を生成するにはどうすればよいか？
• RQ2 音楽とダンスの整合を微細なレベルでどのように捉えることができるか？
• RQ3 完全にガイドされた訓練と比較して、カリキュラム学習は長期モーション生成における自己回帰エラー蓄積を緩和するか？

主な発見

• 提案手法は、自動指標と人間評価の両方で従来の最先端手法を上回る。
• カリキュラム学習戦略は長期モーション生成におけるエラー蓄積を緩和する。
• このアーキテクチャは長期的な音楽-ダンス対応とスタイルの一貫性を効果的にモデル化する。
• 実験は客観的指標と人間の判断の両方を通じて手法を検証している。