[論文レビュー] Youling: an AI-Assisted Lyrics Creation System

Zhang Rong-sheng, Xiaoxi Mao+7 more|arXiv (Cornell University)|Jan 18, 2022

Topic Modeling参考文献 13被引用数 4

ひとこと要約

Youling は、コンテンツおよびフォーマットの多様な制御を用いて、対話的で繰り返し可能な文の生成と改善を可能にする、AI補助の歌詞作成システムです。210Mパラメータのファインチューニング済み GPT-2 モデルを基盤としており、ユーザーが文や語のレベルで編集をガイドすることで、音楽クリエイターが歌詞を生成・改善・洗練化できる人間中心のワークフローを強化します。

ABSTRACT

Recently, a variety of neural models have been proposed for lyrics generation. However, most previous work completes the generation process in a single pass with little human intervention. We believe that lyrics creation is a creative process with human intelligence centered. AI should play a role as an assistant in the lyrics creation process, where human interactions are crucial for high-quality creation. This paper demonstrates extit{Youling}, an AI-assisted lyrics creation system, designed to collaborate with music creators. In the lyrics generation process, extit{Youling} supports traditional one pass full-text generation mode as well as an interactive generation mode, which allows users to select the satisfactory sentences from generated candidates conditioned on preceding context. The system also provides a revision module which enables users to revise undesired sentences or words of lyrics repeatedly. Besides, extit{Youling} allows users to use multifaceted attributes to control the content and format of generated lyrics. The demo video of the system is available at https://youtu.be/DFeNpHk0pm4.

研究の動機と目的

• 音楽クリエイターの歌詞生成における包括的でAI補助のツールが不足しているという問題に対処すること。
• 単一パス、モデル中心の生成から、人間中心で対話的な協働モデルへの移行を図ること。
• 感情、テーマ、キーワードなどの歌詞コンテンツ、および韻、頭字詩、行数などのフォーマットに対する豊富な制御を可能にすること。
• 文や語のレベルでの繰り返し見直しを可能にし、高品質な歌詞の洗練を実現すること。
• 生成と編集を統合した単一のワークフローで実用的で使いやすいシステムを実証すること。

提案手法

• 30万件の中国語の歌詞で微調整された210Mパラメータの GPT-2 ベース言語モデルを用い、高品質な生成を実現。
• 2種類の生成モードをサポート：フルテキスト生成（1回パス）とインタラクティブ生成（文脈条件付き、1行ずつ）。
• ユーザーがコンテンツ制御（テキストスタイル、感情、テーマ、キーワード）とフォーマット制御（韻、頭字詩、行数、1行あたりの語数）を多様に指定可能。
• 見直しモジュールは、マスクされた歌詞を学習したシーケンス・ツー・シーケンスフレームワークを採用。対象の文や語が [MASK] に置き換えられ、予測が行われる。
• トレーニング例は、ランダムに文や語を [MASK] に置き換えることで作成され、見直しモデルの文脈としてスタイルタグが使用される。
• 編集プロセス中に安全に変更を繰り返し、元に戻せるよう、バージョン管理を実装。

実験結果

リサーチクエスチョン

• RQ1 AIシステムは、単一パス生成に依存するのではなく、どのように人間中心で対話的な歌詞作成プロセスを支援できるか？
• RQ2 どのような多様な制御属性（例：感情、テーマ、キーワードなど）が、意味的でスタイル的に整合性のある歌詞生成を効果的に導くか？
• RQ3 文や語のレベルでの繰り返し見直しは、AI生成歌詞の品質を著しく向上させることができるか？
• RQ4 生成と編集を統合した一元的なシステムは、ユーザーの創造性と生産性をどのように向上させるか？
• RQ5 微調整された210Mパラメータの GPT-2 モデルが、歌詞のコーパス（30万件）で学習することで、実世界の音楽制作において多様な制御と高品質な出力をどれだけ実現できるか？

主な発見

• Youling は、既存のシステムと比較して、テキストスタイル、感情、テーマ、キーワード、韻、頭字詩、構造的制約など、最も多様なコンテンツおよびフォーマット制御属性をサポートしている。
• インタラクティブ生成モードにより、前文脈に応じた複数の候補行から選択可能となり、1回パス生成に比べて制御性と品質が向上する。
• 見直しモジュールは、文レベルおよび語のレベルの編集を成功裏にサポートし、ユーザーが望む出力が得られるまで繰り返し洗練できる。
• 210Mパラメータの GPT-2 モデルを30万件の中国語の歌詞コーパスで微調整することで、入力属性に強く関連した高品質で制御可能な生成が可能であることが実証された。
• フルテキスト生成、インタラクティブ生成、見直しを統合した1つのインターフェースにより、音楽クリエイターにとってシームレスで使いやすいワークフローが実現された。
• 本システムは https://yl.fuxi.netease.com/ で公開されており、デモアカウントを提供しており、実世界でのテストとフィードバックが可能である。