[論文レビュー] Music2Video: Automatic Generation of Music Video with fusion of audio and text

Yoonjeon Kim, Joel Jang+1 more|arXiv (Cornell University)|Jan 11, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文では、CLIPベースのガイドラインを用いて音声とテキスト埋め込みを統合することで、高品質で時間的に一貫性のある音楽ビデオを生成するフレームワーク「Music2Video」を提案する。音声のオンセット強度に基づく動的音楽セグメンテーションを用いてシーン遷移を特定し、共同音声・テキストプロンプトを用いた反復的潜在最適化を実行することで、CLIPベクトル統合と時間的正則化を通じて視覚的に一貫性のある動画生成を達成する。

ABSTRACT

Creation of images using generative adversarial networks has been widely adapted into multi-modal regime with the advent of multi-modal representation models pre-trained on large corpus. Various modalities sharing a common representation space could be utilized to guide the generative models to create images from text or even from audio source. Departing from the previous methods that solely rely on either text or audio, we exploit the expressiveness of both modality. Based on the fusion of text and audio, we create video whose content is consistent with the distinct modalities that are provided. A simple approach to automatically segment the video into variable length intervals and maintain time consistency in generated video is part of our method. Our proposed framework for generating music video shows promising results in application level where users can interactively feed in music source and text source to create artistic music videos. Our code is available at https://github.com/joeljang/music2video.

研究の動機と目的

• 音声と歌詞のテキストコンテンツの両方に整合性のある音楽ビデオを生成する課題に対処すること。
• マルチモodal生成における音声とテキストモダリティの対立するガイドラインを効果的に統合することで、それらの矛盾を解消すること。
• 音楽の統計的特徴（例：オンセット強度）の変化を検出することで、音楽駆動の動的で自然なシーン遷移を実現すること。
• 潜在空間の正則化とプロンプト統合を用いて、生成された動画フレーム間の時間的整合性を維持すること。
• ユーザーが音楽とテキスト入力を提供するだけで、最小限のユーザー介入で芸術的な音楽ビデオを生成できるインタラクティブなシステムを提供すること。

提案手法

• オンセット強度検出を用いて、可変長の時間間隔に音楽をセグメンテーションし、自然なシーン変化点を特定する。
• 各音楽セグメントをメルスペクトログラムに変換し、生成用のフレームレート（1秒あたりのフレーム数）を平均強度に基づいて決定する。
• 音声とテキストプロンプトをCLIP埋め込みにエンコードし、平均化（式2）によって統合することで、共同ガイドラインを生成する。
• 融合されたCLIPベクトルを用いてVQ-GANにおける反復的潜在最適化を実行し、両モダリティに整合するフレームを生成する。
• 時間的整合性を実現するために、連続する潜在ベクトル間のL1距離を正則化（式1）し、平均化されたCLIPプロンプトを用いる。
• 敵対的損失と再構成損失を備えたVQ-GANジェネレータを用い、融合された音声・テキスト潜在コードから高精細な画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 音声とテキストモダリティを、ガイドラインの衝突を避ける形で効果的に統合し、音楽ビデオ生成をガイドするにはどうすればよいか？
• RQ2 音声統計（例：オンセット強度）に基づいて、自然なシーン遷移点を効果的に検出する方法は何か？
• RQ3 反復的潜在空間最適化中に、動画フレーム間の時間的整合性をどのように維持できるか？
• RQ4 CLIP埋め込みによる共同音声・テキストプロンプトは、単一モダリティのプロンプトに比べ、より一貫性があり芸術的に意味のある動画シーケンスを生成できるか？
• RQ5 音楽のオンセットに基づく動的セグメンテーションは、固定時間間隔のセグメンテーションに比べ、視覚的整合性とテーマの整合性において優れているか？

主な発見

• CLIP埋め込みの平均化による音声・テキスト統合（式2）は、潜在ベクトルのL1正則化に比べ、視覚的整合性が著しく向上することが示された。
• オンセット強度に基づく動的セグメンテーションにより、より自然で音楽的に整合性のあるシーン遷移が実現され、セグメントの平均持続時間は0.6秒であった。
• 本手法は、図2および図3に示すように、前のフレームのオブジェクトが保持される時間的に一貫性のある動画シーケンスを効果的に生成した。
• 音声とテキストの両方のプロンプトを用いることで、単一モダリティのみを用いる場合に比べ、よりテーマに即した動画コンテンツが得られ、歌詞とのフレームレベルでの整合性が確認された。
• 本フレームワークは、インタラクティブな音楽ビデオ作成を可能にし、ユーザーが音楽と歌詞を入力するだけで、最小限の介入で芸術的な動画を生成できる。
• 音声とテキストプロンプトを交互に使用するナイーブな反復最適化手法に比べ、本手法は視覚的出力の一貫性が優れていた。