[論文レビュー] Foley Music: Learning to Generate Music from Videos

Chuang Gan, Deng Huang+3 more|arXiv (Cornell University)|Jul 21, 2020

Music and Audio Processing参考文献 66被引用数 10

ひとこと要約

この論文では、身体のキーポintsとMIDIイベントを中間表現として用い、音楽家の無音映像から表現的で同期された音楽を生成するFoley Musicというシステムを紹介する。グラフ変換器フレームワークを用いて人体の動きを記号的音楽に変換するモデルは、聴衆による評価実験でベースラインを上回り、解釈可能なMIDI出力のおかげで柔軟な音楽編集が可能である。

ABSTRACT

In this paper, we introduce Foley Music, a system that can synthesize plausible music for a silent video clip about people playing musical instruments. We first identify two key intermediate representations for a successful video to music generator: body keypoints from videos and MIDI events from audio recordings. We then formulate music generation from videos as a motion-to-MIDI translation problem. We present a Graph$-$Transformer framework that can accurately predict MIDI event sequences in accordance with the body movements. The MIDI event can then be converted to realistic music using an off-the-shelf music synthesizer tool. We demonstrate the effectiveness of our models on videos containing a variety of music performances. Experimental results show that our model outperforms several existing systems in generating music that is pleasant to listen to. More importantly, the MIDI representations are fully interpretable and transparent, thus enabling us to perform music editing flexibly. We encourage the readers to watch the demo video with audio turned on to experience the results.

研究の動機と目的

• 無音の音楽演奏映像から妥当で同期された音楽を生成するシステムを開発すること。
• 視覚的動きから表現的な音声にマッピングする挑戦に直面し、中間表現としての身体のキーポイントとMIDIイベントを同定すること。
• 生波形ではなく完全に解釈可能なMIDI表現を用いることで、柔軟な音楽編集を可能にすること。
• グラフ変換器モデルによる動きからMIDIへの変換が、従来の手法よりも質の高い、より自然な響きの音楽を生み出すことを示すこと。

提案手法

• システムは、姿勢推定を用いて動画フレームから2次元の身体および手のキーポイントを検出することで、時間的変化に伴う人体の動きを表現する。
• 音楽生成を、動きからMIDIへの変換問題として定式化し、MIDIをノートオン/オフ、ピッチ、ベロシティを符号化する記号的で解釈可能な音声表現として用いる。
• 時間的順序のキーポイント座標を処理するため、空間的・時間的特徴を学習するためのグラフ畳み込みネットワーク（GCN）エンコーダーを用いる。
• 自己注意機構を備えた変換器デコーダーが、音楽生成プロセスにおける長距離依存関係を捉え、MIDIイベントのシーケンスを予測する。
• 予測されたMIDIシーケンスは、評価および再生用に標準的なシンセサイザーを用いて現実的な音声に変換される。
• モデルは、ピアノ、バイオリン、アコーディオンを含む9種類の楽器における大規模な音楽演奏映像データセットで学習されている。

実験結果

リサーチクエスチョン

• RQ1 ビデオから音楽を生成するシステムは、無音映像からの視覚的動きの手がかりのみで、表現的で正確な音楽を予測できるか？
• RQ2 視覚的または音声的特徴に比べて、身体のキーポイントとMIDIを中間表現として用いることで、クロスモodal音楽生成においてより効果的であるか？
• RQ3 MIDIの記号的性質により、波形ベースのモデルでは不可能な、柔軟で解釈可能な音楽編集が可能になるか？
• RQ4 動きのシーケンスから長期間の音楽的依存関係を捉える際、グラフ変換器アーキテクチャが再帰的または畳み込みモデルを上回るか？

主な発見

• 提案されたグラフ変換器モデルは、聴衆による評価実験で強力なベースラインを著しく上回り、正しさ、同期性、全体的な好みの評価が高かった。
• MIDI予測において、バイオリンでNLL損失1.558、フラットで1.995を達成し、RGB画像および光流ベースラインを上回った。
• アブレーションスタディにより、キーポイントに基づく視覚的表現がRGBまたは光流特徴よりも優れたMIDI予測精度を達成することが確認された。
• 変換器デコーダーの使用により、GRUに比べてNLL損失が低く抑えられ、長距離の音楽的依存関係をモデル化する上で優位性が示された。
• システムは、すべてのベースラインよりも低いNDB（20）を達成し、より高い多様性とより良い一般化性能を示した。
• MIDI表現により、音楽のキーとスタイルを直接編集可能であり、制御可能な音楽生成における画期的な柔軟性を実証した。