[論文レビュー] NANSY++: Unified Voice Synthesis with Neural Analysis and Synthesis

Hyeong-Seok Choi, Jinhyeok Yang+2 more|arXiv (Cornell University)|Nov 17, 2022

Speech Recognition and Synthesis被引用数 8

ひとこと要約

NANSY++ は、ピッチ、アモルチュード、言語学的特徴、トーンを分離可能なモジュラー分析特徴に分解する統合的で自己教師付きの音声合成フレームワークを提案する。このアプローチにより、音声変換、音声認識、歌い声合成、音声デザインの分野で、効率的で高品質な合成が可能になる。教師なしでバックボーンネットワークをエンドツーエンドに訓練することで、最先端の品質と頑健な分離性能を実現した、高速でデータ効率的かつ制御可能な生成が可能となる。

ABSTRACT

Various applications of voice synthesis have been developed independently despite the fact that they generate "voice" as output in common. In addition, most of the voice synthesis models still require a large number of audio data paired with annotated labels (e.g., text transcription and music score) for training. To this end, we propose a unified framework of synthesizing and manipulating voice signals from analysis features, dubbed NANSY++. The backbone network of NANSY++ is trained in a self-supervised manner that does not require any annotations paired with audio. After training the backbone network, we efficiently tackle four voice applications - i.e. voice conversion, text-to-speech, singing voice synthesis, and voice designing - by partially modeling the analysis features required for each task. Extensive experiments show that the proposed framework offers competitive advantages such as controllability, data efficiency, and fast training convergence, while providing high quality synthesis. Audio samples: tinyurl.com/8tnsy3uc.

研究の動機と目的

• 音声変換、音声認識、歌い声合成、音声デザインの多様な音声合成アプリケーションを、1つのモジュラーなフレームワークで統合すること。
• 対応するデータセット（例：テキスト-音声、スコア-音声）の大量を必要としないように、バックボーンネットワークを自己教師付きで訓練することで依存度を低減すること。
• キーとなる音声属性を独立した解釈可能な表現に分離することで、制御性を向上させること。
• 高品質な合成を維持しつつ、下流タスク用の高速でモジュラーなファインチューニングを可能にすること。

提案手法

• 定常Q変換（CQT）特徴に対する自己符号化による自己教師付き F0 評価を用いてバックボーンネットワークを訓練し、真値 F0 アノテーションの必要性を排除する。
• 情報摂動法とボトルネック手法を用いて、raw wav2vec スタイルの特徴から分離可能な言語学的表現を学習する。
• タイムステップに依存する変動するスピーカー埋め込みを導入し、推論時にゼロショットでのスピーカー適応を可能にする。
• フローに基づく正規化フロー構造（ActNorm、ShuffleLayer、AffineCouplingLayer を含む）を用いて、F0、トーン埋め込み、トーントークンの潜在変数をモデル化する。
• 音声生成モデルのヒューマンボイスプロダクションのインダクティブバイアスを合成ネットワークに組み込むことで、波形品質を向上させる。
• 下流タスクを実現するため、必要な分析特徴のサブセットのみを合成し、同じバックボーンと合成ネットワークを共有する。

実験結果

リサーチクエスチョン

• RQ1 1つの自己教師付きバックボーンネットワークが、音声変換、音声認識、歌い声合成、音声デザインの多様なタスクにおいて、ピッチ、アモルチュード、言語学的特徴、トーンといった主要な音声属性を効果的に分離できるか？
• RQ2 自己教師付き事前学習は、下流音声アプリケーションのデータ要件をどの程度低減し、ファインチューニングの加速に寄与するか？
• RQ3 対応データが存在しない状況でも、ピッチ、トーン、年齢／性別の制御がどの程度正確に可能か？
• RQ4 統合フレームワークが、共通のコンponentsを用いて音声変換、TTS、SVS、音声デザインの分野で高品質な合成を達成できるか？
• RQ5 年齢と性別の関係が非線形的であることを考慮した、年齢／性別編集アルゴリズムの有効性は、特に年齢変換においてどの程度高いか？

主な発見

• NANSY++ は、対応データを一切必要としない状態で、音声変換、音声認識、歌い声合成、音声デザインの4つの下流タスクすべてにおいて最先端の合成品質を達成した。
• モデルは、共有バックボーン重みのおかげで、下流アプリケーションのファインチューニングが高速化され、収束が著しく早くなった。
• 自己教師付き F0 評価法は、後処理や合成データなしで高い精度を達成し、ゼロショット設定でもベースライン手法を上回った。
• 分離可能な表現学習により、ピッチ、アモルチュード、トーンの精密な制御が可能となり、定量的評価ではベースライン比で分離品質が向上した。
• NANSY-VOD に実装された年齢／性別編集アルゴリズムは、年齢と性別認識の非線形関係を考慮しており、子供から大人への音声変換において性能が 8 倍向上した。
• SPNet は、性別分類で 93.75% の正確度、年齢推定で 4.095 の平均絶対誤差を達成し、音声編集のための信頼性の高いスピーカー属性条件付けを可能にした。