[論文レビュー] VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture

Da-Yi Wu, Yen‐Hao Chen+1 more|arXiv (Cornell University)|Jun 7, 2020

Speech and Audio Processing参考文献 27被引用数 15

ひとこと要約

本論文では、U-Netアーキテクチャとベクトル量子化（VQ）を組み合わせることで、高品質で分離された話者およびコンテンツ表現を実現するワンショット音声変換手法VQVC+を提案する。U-Netのスキップ接続とVQの強力な情報ボトルネックを活用することで、AutoVC や Chou et al. よりも、特に未学習話者に対して、客観的および主観的評価の両面で優れた性能を発揮し、音声の自然さと話者類似度において最先端の結果を達成した。

ABSTRACT

Voice conversion (VC) is a task that transforms the source speaker's timbre, accent, and tones in audio into another one's while preserving the linguistic content. It is still a challenging work, especially in a one-shot setting. Auto-encoder-based VC methods disentangle the speaker and the content in input speech without given the speaker's identity, so these methods can further generalize to unseen speakers. The disentangle capability is achieved by vector quantization (VQ), adversarial training, or instance normalization (IN). However, the imperfect disentanglement may harm the quality of output speech. In this work, to further improve audio quality, we use the U-Net architecture within an auto-encoder-based VC system. We find that to leverage the U-Net architecture, a strong information bottleneck is necessary. The VQ-based method, which quantizes the latent vectors, can serve the purpose. The objective and the subjective evaluations show that the proposed method performs well in both audio naturalness and speaker similarity.

研究の動機と目的

• 並列学習データを必要としない高精細ワンショット音声変換の課題に対処すること。
• 自己符号化器ベースの音声変換システムにおける話者とコンテンツ表現の分離性を向上させること。
• U-Netとベクトル量子化を統合することで、未学習話者に対しても音声の自然さと話者類似度を向上させること。
• VQが強力な情報ボトルネックを提供することにより、再構成に過剰適合しないU-Netが一般化できることを示すこと。
• 自己再構成により学習された話者埋め込みが、明示的な話者監督なしにゼロショット音声変換に有効であることを示すこと。

提案手法

• エンコーダーとデコーダー層の間にスキップ接続を持つU-Netベースの自己符号化器を採用し、スペクトログラムの微細な詳細を保持する。
• 潜在表現にベクトル量子化（VQ）を適用して離散的なコードブックを生成し、強力な情報ボトルネックを実現することで、分離性を促進する。
• 話者埋め込みは、連続的潜在ベクトルとその量子化された対応物との差の時間平均として算出される：$\vec{s} = \mathbb{E}_t[\vec{V} - \vec{C}]$。その後、次元に合わせて時間方向に繰り返される。
• コンテンツと話者埋め込みを $\vec{C} + \vec{S}$ として結合し、デコーダーに通して入力音声を再構成する。
• 敵対的損失や明示的な話者損失を一切使用せず、自己再構成損失のみで学習する：$L_{rec} = \mathbb{E}[||\hat{\vec{X}} - \vec{X}||_1]$。
• 訓練の安定化と分離性の向上を図るため、量子化の前にインスタンス正規化を適用する。

Figure 1: The VQVC architecture. VQ is the vector quantization layer, and IN is the instance normalization layer. VQVC applies IN+VQ layers to separate the content and the speaker information to achieve voice conversion.

実験結果

リサーチクエスチョン

• RQ1 U-Netアーキテクチャは、分離性を損なわせることなくワンショット音声変換に効果的に適用可能か？
• RQ2 ベクトル量子化は、U-Netが再構成に過剰適合しないように十分な情報ボトルネックを提供するか？
• RQ3 自己再構成損失とVQのみを用いて、話者埋め込みをコンテンツ表現から効果的に分離できるか？
• RQ4 本手法は、未学習話者に対して音声品質と話者類似度の観点でどの程度の性能を発揮するか？
• RQ5 U-NetとVQの組み合わせは、AutoVC や Chou et al. といった既存の自己符号化器ベース手法よりも、主観的および客観的評価において優れているか？

主な発見

• 未学習話者（”-U”）に対する平均意見スコア（MOS）はVQVC+で4.48を記録し、音声の自然さにおいてAutoVC（4.21）とChou et al.（4.32）を上回った。
• 話者類似度においても、未学習話者に対してVQVC+はMOSで4.51を達成し、AutoVC（4.24）とChou et al.（4.35）を上回った。
• ペairワイズ比較において、未学習話者を対象にしたベースラインと比較して、自然さの面で72.5%、話者類似度の面で74.1%の割合でVQVC+が好まれた。
• 話者分類器の精度が $\vec{S}_0$ からの埋め込みで98.3%に達し、学習済み埋め込みに強い話者相関があることを示した。
• VQとU-Netを組み合わせたモデル（Q64）は、$\vec{S}_0$ からの話者識別で98.3%の精度を達成したのに対し、インスタンス正規化のみのバージョン（量子化なし）では97.4%にとどまり、VQが分離性を向上させていることが示された。
• 主観的評価により、VQVC+がベースラインよりも未学習話者に一般化しやすく、ワンショット音声変換において高い頑健性を示していることが確認された。

Figure 2: The VQVC+ architecture. VQVC+ applies the U-Net architecture to improve quality, and each sub-module in the encoder is a variant of the VQVC encoder. Quantized output $\vec{C}$ and the speaker embedding $\vec{S}$ are skip-connected to the decoder instead of the continuous embedding $\vec{V