[論文レビュー] Generating lyrics with variational autoencoder and multi-modal artist embeddings

Olga Vechtomova, Hareesh Bahuleyan+2 more|arXiv (Cornell University)|Dec 20, 2018

Music and Audio Processing参考文献 9被引用数 14

ひとこと要約

本稿では、特定のアーティストのスタイルに合わせた楽曲の歌詞を生成するための、マルチモーダル・アーティスト埋め込みを備えた変分オートエンコーダー（VAE）を提案する。アーティスト埋め込みは、MELスペクトログ램からアーティストを予測するためのCNN分類器を事前学習することで得られ、音声由来の表現を用いて埋め込みを初期化することで、テキスト生成におけるスタイルの条件付けが向上することを示している。

ABSTRACT

We present a system for generating song lyrics lines conditioned on the style of a specified artist. The system uses a variational autoencoder with artist embeddings. We propose the pre-training of artist embeddings with the representations learned by a CNN classifier, which is trained to predict artists based on MEL spectrograms of their song clips. This work is the first step towards combining audio and text modalities of songs for generating lyrics conditioned on the artist's style. Our preliminary results suggest that there is a benefit in initializing artists' embeddings with the representations learned by a spectrogram classifier.

研究の動機と目的

• 特定のアーティストのスタイル的特徴に基づいて、楽曲の歌詞を生成するシステムを開発すること。
• スペクトログラムから学習したアーティスト埋め込みを用いて、音声とテキストのモダリティを統合し、音楽分野における統合的モデリングを実現すること。
• 音声表現を用いてアーティスト埋め込みを事前学習することで、歌詞生成の品質が向上するかどうかを調査すること。
• 音声＋テキストのマルチモーダル学習が、パーソナライズド・ライツ生成に有効であるかを検討すること。
• 音声由来の表現が、生成された歌詞のスタイル分離性および品質に与える影響を評価すること。

提案手法

• アーティスト埋め込みを条件として用いる変分オートエンコーダー（VAE）を用いて歌詞を生成する。
• アーティスト埋め込みは、楽曲のクリップのMELスペクトログラムを入力として学習された事前学習済みのCNN分類器から抽出された特徴を用いて初期化される。
• CNN分類器は、与えられた音声クリップのスペクトログラム表現に基づいて、そのアーティストを予測するように学習される。
• VAEは、テキスト系列（歌詞）と事前学習済みのアーティスト埋め込みの両方を用いて微調整され、スタイル条件付き生成を学習する。
• マルチモーダルな条件付けは、音声由来の表現とテキスト系列モデリングを統合し、スタイル転送を実現する。
• 事前学習済みの音声埋め込みを活用することで、訓練時に見なかったアーティストのスタイルでゼロショットでの歌詞生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラム表現を用いることで、生成された歌詞の品質とスタイルの忠実度が向上するか？
• RQ2 音声データを用いてアーティスト埋め込みを事前学習することで、スタイル条件付きの歌詞生成性能が向上するか？
• RQ3 音声埋め込みのみを用いて、VAEモデルが特定のアーティストのスタイル的ニュアンスをどれだけ正確に再現できるか？
• RQ4 音声とテキストのモダリティ統合は、アーティスト固有の言語的スタイルを学習するのにどの程度効果的か？
• RQ5 学習時に登場しなかったアーティストに対しても、学習済みの音声ベースの表現を活用することで一般化可能か？

主な発見

• スペクトログラム分類器を用いてアーティスト埋め込みを事前学習することで、生成歌詞におけるスタイルの条件付けが向上した。
• 定性的な分析により、システムはターゲットアーティストのスタイル的特徴を反映した歌詞を効果的に生成できた。
• アーティスト埋め込みに音声由来の表現を用いることで、VAEにおけるスタイルとコンテンツの分離性が向上した。
• 音声とテキストのデータを統合したマルチモーダル学習の有効性が、音楽の歌詞生成において実証された。
• 予備的な結果から、音声ベースの表現がアーティスト固有のスタイルパターンを捉えており、テキスト生成に転送可能であることが示唆された。
• 本手法は、音楽生成における音声とテキストモダリティの共同モデリングの第一歩を示している。