[論文レビュー] DopeLearning: A Computational Approach to Rap Lyrics Generation

Eric Malmi, Pyry Takala+3 more|arXiv (Cornell University)|May 18, 2015

Music and Audio Processing参考文献 25被引用数 19

ひとこと要約

本論文では、情報検索問題としてのラップ・リリック生成をフレームワークに据えた DopeLearning を提案する。このシステムは、RankSVM と、意味的特徴学習に特化した新規深層ニューラルネットワークを組み合わせたハイブリッドモデルを採用している。システムは、299個の候補の中から真の次ラインを特定する精度が17%に達し、ランダム選択より50倍以上優れている。また、リズムの密度において、上位人間ラッパーを21%上回っており、ユーザーの好みログにより、機械学習で得られた順位と整合していることが確認された。

ABSTRACT

Writing rap lyrics requires both creativity to construct a meaningful, interesting story and lyrical skills to produce complex rhyme patterns, which form the cornerstone of good flow. We present a rap lyrics generation method that captures both of these aspects. First, we develop a prediction model to identify the next line of existing lyrics from a set of candidate next lines. This model is based on two machine-learning techniques: the RankSVM algorithm and a deep neural network model with a novel structure. Results show that the prediction model can identify the true next line among 299 randomly selected lines with an accuracy of 17%, i.e., over 50 times more likely than by random. Second, we employ the prediction model to combine lines from existing songs, producing lyrics with rhyme and a meaning. An evaluation of the produced lyrics shows that in terms of quantitative rhyme density, the method outperforms the best human rappers by 21%. The rap lyrics generator has been deployed as an online tool called DeepBeat, and the performance of the tool has been assessed by analyzing its usage logs. This analysis shows that machine-learned rankings correlate with user preferences.

研究の動機と目的

• ラップ・リリック生成の計算的アプローチを構築し、リズムの流れと意味的整合性の両方を捉えること。
• ラップ・リリックにおける次ライン予測のタスクを情報検索問題としてモデル化すること。
• リズム密度やユーザーの好みログといった定量的指標を用いて、システムのパフォーマンスを評価すること。
• 深層ニューラルネットワークによる意味的埋め込みが、意味的に整合的で芸術的に価値のあるリリック生成に果たす役割を調査すること。
• DeepBeat Webツールを用いて実世界に展開・検証し、人間の好みとの整合性を評価すること。

提案手法

• システムは、ラップ・リリック生成を情報検索タスクとして定式化する。与えられたラインのシーケンス（クエリ）に対して、候補プールから最も関連性の高い次ラインを検索する。
• 3種類の特徴を抽出する：リズム特徴（音声的およびパターンベース）、構造的特徴（文法的および語彙的）、および文の埋め込みに用いる深層ニューラルネットワークによる意味的特徴。
• 深層ニューラルネットワークは、リリックを高次元のベクトル空間にマップし、意味的類似性を捉える。この特徴がモデル内で最も予測的である。
• RankSVM モデルがこれらの特徴を統合し、クエリに最も関連性の高い候補ラインを順位付けする。関連性最適化を目的としている。
• モデルは、104名のアーティストからなる50万件を超えるラップ・リリックのデータセットで学習され、次ライン予測精度とリズム密度という指標で評価された。
• システムは DeepBeat（deepbeat.org）として展開され、使用ログが分析され、機械学習による順位付けとユーザーの好みの間の相関関係が検証された。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、ランダム選択をはるかに上回る高い精度で、ラップ曲の次ラインを効果的に予測できるか？
• RQ2 意味的表現に特化した深層ニューラルネットワークは、生成されたラップ・リリックの整合性と関連性をどの程度向上させられるか？
• RQ3 生成されたリリックは、リズム密度といった技術的指標において人間ラッパーを上回るか？また、人間評価者からも高い品質と認識されるか？
• RQ4 実世界での展開において、機械学習で得た関連性スコアは、実際のユーザーの好みとどの程度相関しているか？
• RQ5 情報検索フレームワークは、ラップ・リリック作成のような創造的テキスト生成タスクに効果的に適応可能か？

主な発見

• モデルは、299個のランダムに選択された候補の中から真の次ラインを特定する精度が17%に達した。これは、ランダム選択より50倍以上高い確率である。
• 真の次ラインが上位30%の候補にランク付けされた確率は53%に達し、優れた予測性能を示した。
• リズム密度という技術的リリック品質の指標において、最良の人間ラッパーを21%上回った。
• リズム密度指標は人間実験を通じて検証され、ラッパー自身が技術的スキルを評価する基準と強く相関していることが示された。
• DeepBeat.org からの使用ログは、ユーザーがラインを選択する傾向が、モデルの予測された関連性スコアと強く相関していることを明らかにした。これは、人間の好みとの実世界での整合性を裏付けた。
• 意味的埋め込みに用いる深層ニューラルネットワークが、モデル内で最も予測的である特徴として浮き彫りになった。これは、生成されたリリックにおける意味的整合性を確保する上で極めて重要であることを示している。