[논문 리뷰] Generative Disco: Text-to-Video Generation for Music Visualization

Vivian Liu, Tao Long외 2명|arXiv (Cornell University)|2023. 04. 17.

Music and Audio Processing인용 수 10

한 줄 요약

생성적 디스코(Generative Disco)는 대형 언어 모델과 텍스트-투-비디오 생성을 활용하여 간격의 시작 프롬프트와 끝 프롬프트를 정의하고 박자에 맞춰 시각화를 보간함으로써 음악 시각화를 생성하는 시스템으로, 홀드와 트랜지션의 두 가지 디자인 패턴에 의해 가이드됩니다.

ABSTRACT

Visuals can enhance our experience of music, owing to the way they can amplify the emotions and messages conveyed within it. However, creating music visualization is a complex, time-consuming, and resource-intensive process. We introduce Generative Disco, a generative AI system that helps generate music visualizations with large language models and text-to-video generation. The system helps users visualize music in intervals by finding prompts to describe the images that intervals start and end on and interpolating between them to the beat of the music. We introduce design patterns for improving these generated videos: transitions, which express shifts in color, time, subject, or style, and holds, which help focus the video on subjects. A study with professionals showed that transitions and holds were a highly expressive framework that enabled them to build coherent visual narratives. We conclude on the generalizability of these patterns and the potential of generated video for creative professionals.

연구 동기 및 목표

• 음악 구조와 가사에 맞춰 음악 시각화를 보다 쉽게 만들고 창출하도록 동기를 부여하고 가능하게 한다.
• 음악 비디오에 대해 텍스트-투-비디오 출력이 일관되고 표현력이 풍부하게 보이도록 하는 디자인 패턴을 식별한다.
• 인터랙티브 파이프라인을 개발하여 LLMs, 텍스트-투-이미지, 텍스트-투-비디오 생성을 통합하고 간격 기반 시각화를 생산한다.
• 전문가들이 Generative Disco를 사용해 장르별로 다양한 시각적 내러티브를 제작하는 방법을 평가한다.

제안 방법

• 각 간격에 시작 프롬프트와 끝 프롬프트를 포함한 간격 기반 비디오 생성으로 음악 시각화를 정의한다.
• GPT-4를 활용한 브레인스토밍으로 간격 시각화를 위한 프롬프트 제안을 생성한다.
• 텍스트-투-이미지 모델로 시작 이미지와 끝 이미지를 생성하고 이를 음악의 박자에 맞춰 보간한다.
• 움직임과 내러티브 초점을 제어하기 위해 홀드와 트랜지션의 두 가지 디자인 패턴을 구현한다.
• 오디오 특징(타악기 에너지)을 Stable Diffusion Videos를 통한 보간과 연결하여 오디오 반응 비주얼을 만든다.
• 표현력과 워크플로의 유용성을 평가하기 위해 12명의 영상 전문가 및 음악 전문가를 대상으로 사용자 연구를 수행한다.

실험 결과

연구 질문

• RQ1 RQ1: Generative Disco가 전문가들이 음악에 대한 시각적 내러티브를 생산하는 데 얼마나 도움을 줄 수 있는가?
• RQ2 RQ2: 사용자가 트랜지션과 홀드를 사용해 음악 시각화를 만들 때 어떤 텍스트-투-비디오 생성 패턴이 나타나는가?
• RQ3 RQ3: Generative Disco와 같은 생성적 음악 시각화 접근 방식이 시청각 전문가 워크플로에 어떤 가능성을 제시하는가?

주요 결과

ID	Background	Video Freq	Yrs Video	AI-Art Freq	Genre
P1	Video Professional, Lyric Videos	Daily	7	Never	Metalcore
P2	Video Professional, VJ	Daily	14	Never	Original Composition
P3	Video Professional	Daily	3	Weekly	Pop
P4	Video Professional, live production, VJ	Weekly	15	Weekly	Funk Rock
P5	Video Professional, Sound Designer	Daily	5	Never	Alternative Indie
P6	Music Expert	Yearly	4	Yearly	Acoustic
P7	Music Expert, Classical + Digital	Monthly	0	Never	Hard Rock / Remix
P8	Music Expert, Acoustics + Production	Weekly	8	Monthly	Original Composition
P9	Music Expert, Video Expert	Yearly	10	Monthly	Dance / Electronic
P10	Video Professional, Music Videos	Monthly	10	Weekly	Locked Groove
P11	Video Professional, Music Videos	Daily	6	Weekly	Afrobeats / Pop
P12	Music Expert	Yearly	2	Never	Original Vocals / Rock

• 전문가들은 트랜지션과 홀드가 일관된 시각적 내러티브를 구성하는 데 매우 표현력이 높다고 판단했다.
• 간격 기반 접근 방식은 음악에 묶인 시각적 요소를 탐색하면서도 시각적 일관성을 유지하게 했다.
• GPT-4를 활용한 브레인스토밍 영역이 가사, 시각적 요소, 음악을 프롬프트 생성에 삼각 측정하는 데 도움이 되었다.
• 참가자들은 Generative Disco를 탐색하기 쉽고 유용하며 미적이고 즐거운 시각물을 생산하는 직관적 도구로 보고했다.
• 이 시스템은 디자인 패턴의 장르 간 일반화 가능성을 보여주며 시청각 전문가를 위한 워크플로를 지원한다.