[論文レビュー] Score and Lyrics-Free Singing Voice Generation

Jen-Yu Liu, Yuhua Chen+2 more|arXiv (Cornell University)|Dec 26, 2019

Music and Audio Processing参考文献 42被引用数 16

ひとこと要約

この論文は、スコアおよび歌詞なしの歌唱音声生成という新しいタスクを提示し、GANベースのアーキテクチャにGRUと拡張畳み込みを組み合わせた3つのアプローチ（フリー、伴奏あり、ソロ）を提案する。このアーキテクチャは、音声のメルスペクトログ램を生の音声から生成し、言語的・音楽的指導なしに説得力のある歌唱音声を生成するが、音声品質は依然として限定的である。

ABSTRACT

Generative models for singing voice have been mostly concerned with the task of ``singing voice synthesis,'' i.e., to produce singing voice waveforms given musical scores and text lyrics. In this work, we explore a novel yet challenging alternative: singing voice generation without pre-assigned scores and lyrics, in both training and inference time. In particular, we outline three such generation schemes, and propose a pipeline to tackle these new tasks. Moreover, we implement such models using generative adversarial networks and evaluate them both objectively and subjectively.

研究の動機と目的

• 楽譜や歌詞を事前に割り当てず、より芸術的で即興的なボーカル生成を可能にする歌唱音声生成の探求。
• 発音や音高のアノテーションがない、ペairされない無教師の歌唱データに対するモデルの学習課題の解決。
• 条件付きまたは弱い条件付き入力からの多様で表現力のある歌唱音声を生成するジェネレーティブフレームワークの開発。
• 音声品質が限定的であるにもかかわらず、生成された音声の「人間くささ」、表現力、伴奏との整合性の評価。
• 固定された入力ではなく、内部の音楽的アイデアから生成するモデルによる計算的創造性の実現。

提案手法

• メルスペクトログラム内の順序的および局所的パターンをモデル化するため、ゲート付き再帰ユニット（GRU）とグループ化された拡張畳み込みを組み合わせたBE-GANベースのGANアーキテクチャを提案。
• 生成されたメルスペクトログラムを生の音声波形に変換するためのボコーダーを用い、明示的な音声特徴のアライメントを回避。
• 公開音楽リソースからデータ収集を可能にするために、最先端の音源分離モデルを用いて、フルオーディオ録音からボーカルと伴奏トラックを抽出。
• 3つの異なるモデルを訓練：フリー・シンガー（入力なし）、伴奏ありシンガー（インストゥルメンタル波形を入力）、ソロ・シンガー（ランダムノイズを入力として内部のアイデアを生成）。
• 知覚的品質と生成音声の多様性を向上させるために、敵対的損失とマルチスケールディスクラミネーターを適用。
• 与えられた伴奏トラックとどれだけ整合するかを評価するための独自の適合性メトリクスを導入し、真の音高や歌詞のアライメントがなくても評価可能に。

実験結果

リサーチクエスチョン

• RQ1 音楽的スコアや歌詞の入力なしに、生成モデルが説得力のある歌唱音声を生成できるか？
• RQ2 音高、発音記号、タイミングの監視なしに、生の音声からのみ学習して、表現的で整合性のある歌唱音声を生成できるか？
• RQ3 生の歌唱音声からの無教師学習が、自然で感情表現豊かな声をどれだけ生成できるか？
• RQ4 同じ伴奏に対して、芸術的自由や即興性を反映した多様な歌唱出力をモデルが生成できるか？
• RQ5 スコアおよび歌詞なしの歌唱音声生成において、音声品質と表現力のトレードオフはどのようなものか？

主な発見

• 提案されたモデルは、スコアや歌詞の入力なしに歌唱音声を生成できることを示し、生の音声からのみ説得力のある歌唱が生成可能であることを実証した。
• 主観的評価では、生成音声が人間らしいと感じられ、表現力があると評価されたが、最先端のSVSシステムに比べて音声品質は依然として劣る。
• 伴奏ありシンガーのモデルは、独自の適合性メトリクスによる測定で、入力の伴奏トラックと整合性がある声を生成しており、真のアライメントがなくても成立している。
• フリー・シンガーは入力なしでもボーカルに似た音声を生成しており、学習データからモデルが内在的な音楽的構造を学習していることを示唆している。
• GRUと拡張畳み込みの使用により、歌唱音声生成における順序的および長距離依存性の効果的なモデル化が可能になった。
• ユーザースタディにおいてSynthesizer Vがベースラインとして存在したことで、提案モデルの評価品質が低下している可能性が示され、音声の精細度向上の余地があることが示唆された。