[論文レビュー] Generative Disco: Text-to-Video Generation for Music Visualization

Vivian Liu, Tao Long+2 more|arXiv (Cornell University)|Apr 17, 2023

Music and Audio Processing被引用数 10

ひとこと要約

Generative Discoは、大規模言語モデルとテキストから動画生成を用い、インターバルの開始プロンプトと終了プロンプトを定義し、ビートに合わせてビジュアルを補間することで音楽のビジュアル化を作成するシステムであり、ホールドとトランジションという2つのデザインパターンに導かれている。

ABSTRACT

Visuals can enhance our experience of music, owing to the way they can amplify the emotions and messages conveyed within it. However, creating music visualization is a complex, time-consuming, and resource-intensive process. We introduce Generative Disco, a generative AI system that helps generate music visualizations with large language models and text-to-video generation. The system helps users visualize music in intervals by finding prompts to describe the images that intervals start and end on and interpolating between them to the beat of the music. We introduce design patterns for improving these generated videos: transitions, which express shifts in color, time, subject, or style, and holds, which help focus the video on subjects. A study with professionals showed that transitions and holds were a highly expressive framework that enabled them to build coherent visual narratives. We conclude on the generalizability of these patterns and the potential of generated video for creative professionals.

研究の動機と目的

• 音楽構造と歌詞に合わせた音楽ビジュアルの作成をより容易にし、促進する。
• テキストから動画への出力を一貫性と表現力を持たせるデザインパターンを特定する。
• LLM、テキストから画像、テキストから動画生成を統合したインタラクティブなパイプラインを開発し、間隔ベースの視覚化を生成する。
• Generative Discoを専門家がさまざまなジャンルで多様な視覚的語りを作成するために用いる方法を評価する。

提案手法

• 各インターバルに開始プロンプトと終了プロンプトを設定した間隔ベースの動画生成として音楽ビジュアル化を定義する。
• GPT-4を用いたブレインストーミングでインターバル視覚のプロンプト提案を生成する。
• テキストから画像へのモデルで開始画像と終了画像を生成し、それらを楽曲のビートに合わせて補間する。
• 動きと物語の焦点を制御するために、ホールドとトランジションという2つのデザインパターンを実装する。
• オーディオ特徴（打楽エネルギー）をStable Diffusion Videosによる補間と結びつけ、オーディオ反応型の視覚を作る。
• 表現力とワークフローの有用性を評価するために、12名のビデオ専門家と音楽専門家を対象としたユーザースタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Generative Discoは専門家が音楽のビジュアル語りをどの程度作成するのに役立つか。
• RQ2 RQ2: ユーザーがトランジションとホールドを用いて音楽ビジュアル化を作成する際、どのようなテキストから動画生成のパターンが現れるか。
• RQ3 RQ3: Generative Discoのような生成的音楽ビジュアル化アプローチは映像音響専門家のワークフローにどのような可能性を提示するか。

主な発見

ID	背景	動画頻度	映像経験年数	AIアート頻度	ジャンル
P1	Video Professional, Lyric Videos	Daily	7	Never	Metalcore
P2	Video Professional, VJ	Daily	14	Never	Original Composition
P3	Video Professional	Daily	3	Weekly	Pop
P4	Video Professional, live production, VJ	Weekly	15	Weekly	Funk Rock
P5	Video Professional, Sound Designer	Daily	5	Never	Alternative Indie
P6	Music Expert	Yearly	4	Yearly	Acoustic
P7	Music Expert, Classical + Digital	Monthly	0	Never	Hard Rock / Remix
P8	Music Expert, Acoustics + Production	Weekly	8	Monthly	Original Composition
P9	Music Expert, Video Expert	Yearly	10	Monthly	Dance / Electronic
P10	Video Professional, Music Videos	Monthly	10	Weekly	Locked Groove
P11	Video Professional, Music Videos	Daily	6	Weekly	Afrobeats / Pop
P12	Music Expert	Yearly	2	Never	Original Vocals / Rock

• 専門家はトランジションとホールドが、一貫した視覚的語りを構築するのに高度に表現力があると評価した。
• 間隔ベースのアプローチは、音楽に結びついた視覚を探索しつつ視覚的一貫性を維持することを可能にした。
• GPT-4を用いたブレインストーミング領域は、歌詞、視覚、音楽を三角測量してプロンプト生成を支援した。
• 参加者はGenerative Discoを探索しやすく、有用で美的に魅力的な視覚を作るのに直感的だと報告した。
• このシステムはジャンルを超えたデザインパターンの普遍性を示し、映像音響専門家のワークフローを支援する。