[論文レビュー] Rapformer: Conditional Rap Lyrics Generation with Denoising Autoencoders

Nikola I. Nikolov, Eric Malmi+2 more|arXiv (Cornell University)|Apr 8, 2020

Music and Audio Processing被引用数 7

ひとこと要約

Rapformerは、トランスフォーマーに基づくノイズ除去オートエンコーダーを用いた条件付きラップ歌詞生成モデルを導入し、元の歌詞から抽出した内容語からラップVerseを再構築することで、BERTベースの言い換えモジュールによりリズムの密度を10%向上させた。人間の自然な流暢さを再現し、チューリングテストで専門家が25%の確率で誤認別し、ニュース記事、映画のあらまし、既存の歌詞など多様な入力において内容を効果的に保持しながらスタイルを転送した。

ABSTRACT

The ability to combine symbols to generate language is a defining characteristic of human intelligence, particularly in the context of artistic story-telling through lyrics. We develop a method for synthesizing a rap verse based on the content of any text (e.g., a news article), or for augmenting pre-existing rap lyrics. Our method, called Rapformer, is based on training a Transformer-based denoising autoencoder to reconstruct rap lyrics from content words extracted from the lyrics, trying to preserve the essential meaning, while matching the target style. Rapformer features a novel BERT-based paraphrasing scheme for rhyme enhancement which increases the average rhyme density of output lyrics by 10%. Experimental results on three diverse input domains show that Rapformer is capable of generating technically fluent verses that offer a good trade-off between content preservation and style transfer. Furthermore, a Turing-test-like experiment reveals that Rapformer fools human lyrics experts 25% of the time.

研究の動機と目的

• 入力テキストからの内容を保持しつつ、ラップ歌詞のスタイル的特徴を転送する条件付きラップ歌詞生成手法を開発すること。
• トピックや物語の方向性を制御できない無条件生成の限界を是正すること。
• ラップの重要なスタイル的特徴の一つであるリズムの一貫性を向上させるために、新しい後処理強化ステップを導入すること。
• ニュース記事、映画のあらまし、既存のラップ歌詞など多様な入力ドメインにおけるモデルのパフォーマンスを評価すること。
• チューリングテストに類似した実験を含む人間による評価を通じて、生成された歌詞の現実性を評価すること。

提案手法

• 元の歌詞から抽出した内容語のリストから、完全なラップVerseを再構築するトランスフォーマーに基づくノイズ除去オートエンコーダーを訓練する。
• 非リズミックな行末語をリズミカルな代替語に置き換えるために、BERTベースの言い換えスキームを用い、平均リズム密度を10%向上させる。
• ニュース要約、映画のあらまし、既存のラップ歌詞など多様な入力タイプでモデルを条件づけ、内容制御生成を可能にする。
• 生成されたVerseのコアな意味的コンテンツを変更せずに、リズム構造を強化する後処理ステップを適用する。
• 入力が内容語のシーケンスで出力が完全なラップVerseであるような、シーケンス・ツー・シーケンス学習の目的関数を用いてモデルを微調整する。
• 自動指標（例：コンテンツの重複度、流暢さ）と人間評価（人間が書いた歌詞との並べ替え比較を含む）の両方を用いてパフォーランスを評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去オートエンコーダー手法は、多様な入力テキストから抽出された内容語を条件として用いることで、一貫性がありスタイル的に正確なラップ歌詞を効果的に生成できるか？
• RQ2 BERTベースのリズム強化ステップは、生成された歌詞のリズム密度と認識品質をどの程度向上させるか？
• RQ3 モデルは、ラップ歌詞のスタイル的特徴を転送しつつ、入力の意味的コンテンツをどの程度効果的に保持できるか？
• RQ4 専門家がチューリングテストの設定でRapformerが生成した歌詞と人間が書いたラップ歌詞を信頼性を持って区別できるか？
• RQ5 ニュース記事、映画のあらまし、既存のラップ歌詞など、異なる入力ドメインにおいて、モデルはコンテンツの忠実度とスタイルの流暢さの両面でどの程度のパフォーマンスを示すか？

主な発見

• Rapformerは、3つの多様な入力ドメインにわたって、内容の保持とスタイル転送の両面で良好なバランスを保った技術的に流暢なラップVerseを生成した。
• BERTベースのリズム強化ステップにより、生成された歌詞の平均リズム密度が10%向上し、スタイルの真正性が向上した。
• チューリングテストに類似した評価において、Rapformerは一覧表示された歌詞に対して、人間のラップ歌詞専門家を25%の確率で誤認別した。これは高い現実性を示している。
• 並べ替え評価では、ニュース記事から生成されたRapformerの歌詞のうち8%が、3人の評価者の少なくとも2人が人間が書いたと誤認別した。
• コンテンツの重複度とスタイル転送の質の両面で、強力な情報検索ベースラインと無条件生成ベースラインを上回った。
• このアプローチは、既存のラップ歌詞の拡張に特に効果的で、一貫性がありスタイル的に整合性のあるバリエーションを生成した。