[논문 리뷰] Youling: an AI-Assisted Lyrics Creation System

Zhang Rong-sheng, Xiaoxi Mao외 7명|arXiv (Cornell University)|2022. 01. 18.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

Youling은 콘텐츠 및 포맷에 대한 다면적 제어를 통해 상호작용적이고 다단계의 가사 생성 및 반복적 수정을 지원하는 AI 보조 가사 제작 시스템입니다. 210M 파라미터로 미세튜닝된 GPT-2 기반 모델을 기반으로 하여, 음악 제작자가 문장 및 어휘 수준의 편집을 통해 가사를 생성, 보완, 정제할 수 있도록 하여 인간 중심 워크플로우에서 창의성과 제어력을 향상시킵니다.

ABSTRACT

Recently, a variety of neural models have been proposed for lyrics generation. However, most previous work completes the generation process in a single pass with little human intervention. We believe that lyrics creation is a creative process with human intelligence centered. AI should play a role as an assistant in the lyrics creation process, where human interactions are crucial for high-quality creation. This paper demonstrates extit{Youling}, an AI-assisted lyrics creation system, designed to collaborate with music creators. In the lyrics generation process, extit{Youling} supports traditional one pass full-text generation mode as well as an interactive generation mode, which allows users to select the satisfactory sentences from generated candidates conditioned on preceding context. The system also provides a revision module which enables users to revise undesired sentences or words of lyrics repeatedly. Besides, extit{Youling} allows users to use multifaceted attributes to control the content and format of generated lyrics. The demo video of the system is available at https://youtu.be/DFeNpHk0pm4.

연구 동기 및 목표

• 음악 제작자에게 가사 생성을 위한 종합적인 AI 보조 도구가 부족한 문제를 해결하기 위해.
• 단일 패assing, 모델 중심의 생성에서 인간 중심의 상호작용 협업 모델로의 전환을 위해.
• 콘텐츠(예: 감정, 주제, 키워드) 및 포맷(예: 운, 악보, 줄 수)에 대한 풍부한 제어를 지원하기 위해.
• 문장 및 어휘 수준에서의 반복적 수정을 통해 고품질의 가사 보완을 가능하게 하기 위해.
• 통합 워크플로우에서 생성과 편집을 통합한 실용적이고 사용자 友好的 시스템을 구현하기 위해.

제안 방법

• 300만 개의 중국어 가사로 미세튜닝된 210M 파라미터의 GPT-2 기반 언어 모델을 사용하여 고품질의 생성을 구현합니다.
• 두 가지 생성 모드를 지원합니다: 전문 생성(일괄 처리) 및 상호작용 생성(컨텍스트 조건부, 줄 단위).
• 사용자는 콘텐츠 제어(문체, 감정, 주제, 키워드) 및 포맷 제어(운, 악보, 줄 수, 줄당 단어 수) 등 다양한 속성을 입력합니다.
• 수정 모듈은 마스킹된 가사 데이터로 훈련된 시퀀스-투-시퀀스 프레임워크를 사용하며, 대상 문장 또는 단어는 [MASK] 토큰으로 대체되어 예측됩니다.
• 훈련 예제는 임의로 문장 또는 단어를 [MASK]로 대체하여 생성되며, 수정 모델의 컨텍스트로 스타일 태그를 사용합니다.
• 편집 과정에서 변경 사항을 안전하게 반복하고 이전 상태로 복원할 수 있도록 버전 관리를 구현합니다.

실험 결과

연구 질문

• RQ1 AI 시스템은 단일 패assing 생성에 의존하는 대신, 인간 중심의 상호작용적 가사 제작 과정을 어떻게 지원할 수 있는가?
• RQ2 의미 있고 스타일적으로 일관된 가사 생성을 이끄는 데 가장 효과적인 다면적 제어 속성은 무엇인가?
• RQ3 문장 및 어휘 수준에서의 반복적 수정은 AI 생성 가사의 품질을 크게 향상시킬 수 있는가?
• RQ4 통합된 시스템에서 생성과 편집을 통합함으로써 사용자의 창의성과 효율성은 어떻게 향상되는가?
• RQ5 가사 데이터로 미세튜닝된 210M 파라미터의 GPT-2 모델은 실제 음악 제작 환경에서 다양한 제어 기능과 고품질 출력을 얼마나 잘 지원할 수 있는가?

주요 결과

• Youling은 기존 시스템 대비 가장 다양한 콘텐츠 및 포맷 제어 속성을 지원하며, 문체, 감정, 주제, 키워드, 운, 악보, 구조적 제약 등을 포함합니다.
• 상호작용 생성 모드를 통해 사용자는 이전 컨텍스트를 바탕으로 여러 후보 문장을 선택할 수 있어, 일괄 처리 생성 대비 제어력과 품질이 향상됩니다.
• 수정 모듈은 문장 수준과 어휘 수준의 편집을 모두 성공적으로 지원하여, 사용자가 원하는 출력이 나올 때까지 반복적으로 가사를 보완할 수 있습니다.
• 210M 파라미터의 GPT-2 모델을 30만 개의 중국어 가사 코퍼스로 미세튜닝함으로써, 입력 속성과 강한 관련성을 유지하면서도 고품질의 제어 가능한 생성이 가능함을 입증했습니다.
• 전체 텍스트 생성, 상호작용 생성, 수정 기능을 하나의 인터페이스에 통합함으로써 음악 제작자가 원활하고 사용자 友好的한 워크플로우를 경험할 수 있음을 보여주었습니다.
• 시스템은 https://yl.fuxi.netease.com/ 에 공개되어 있으며, 데모 계정을 통해 실제 환경 테스트 및 피드백을 제공할 수 있습니다.