[論文レビュー] ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network

Yurii Rebryk, Stanislav Beliaev|arXiv (Cornell University)|May 15, 2020

Speech Recognition and Synthesis参考文献 26被引用数 5

ひとこと要約

ConVoiceは、事前学習済みの自動音声認識（ASR）およびスプーカー埋め込みモデルを用いて、並列データやトランスクリプトデータを必要とせず、リアルタイムのゼロショット音声スタイル変換を実現する、軽量で完全畳み込み型の非自己回帰的ニューラルネットワークを提案する。推論が高速（1つのV100 GPUで321.58 RTF）であり、高品質な音声合成を達成しており、わずか数秒のターゲットスプーカー音声のみでゼロショット変換が可能である。

ABSTRACT

We propose a neural network for zero-shot voice conversion (VC) without any parallel or transcribed data. Our approach uses pre-trained models for automatic speech recognition (ASR) and speaker embedding, obtained from a speaker verification task. Our model is fully convolutional and non-autoregressive except for a small pre-trained recurrent neural network for speaker encoding. ConVoice can convert speech of any length without compromising quality due to its convolutional architecture. Our model has comparable quality to similar state-of-the-art models while being extremely fast.

研究の動機と目的

• 並列データやトランスクリプトデータを必要としないゼロショット音声変換の課題に対処すること。
• 任意長の音声入力に対して、高速でリアルタイムの推論を可能にすること。
• 高品質な音声とスプーカー類似度を維持しながら、モデルサイズと計算コストを低減すること。
• データ収集やファインチューニングを回避し、わずか数秒のターゲットスプーカー音声のみでゼロショット推論を可能にすること。
• 自己回帰的生成を回避する高速性を実現する、コンactな完全畳み込み型アーキテクチャの開発

提案手法

• ソース発話の言語的特徴を抽出するために、事前学習済みのQuartzNet-5x5 ASRモデルを活用する。
• スプーカー検証タスクから得たRNNベースのスプーカー符号化器（事前学習済み）を用いて、ターゲットスプーカー音声から固定次元のスプーカー埋め込みを抽出する。
• ソース音声特徴とターゲットスプーカー埋め込みの両方に条件付けられた完全畳み込み型デコーダーを用いて、メルスペクトログラムを生成する。
• 予測されたメルスペクトログラムから生の音声を合成する非自己回帰的WaveGlow音声生成器を適用する。
• 事前学習済みASRモデルの途中層の活性化をコンテンツ表現として活用することで、トランスクリプトデータの必要性を回避する。
• わずか数秒の音声のみで、未学習のスプーカーのスプーカー埋め込みに条件付けたデコーダーを用いることで、ゼロショット推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的で完全畳み込み型のモデルは、並列データやトランスクリプトデータが不要な状態でも、高品質なゼロショット音声変換を達成できるか？
• RQ2 提案手法ConVoiceの性能は、最先端の手法と比較して、音声の自然さとスプーカー類似度の観点でどの程度優れているか？
• RQ3 長時間の音声入力処理において、モデルは品質と速度をどの程度維持できるか？
• RQ4 最小限のターゲットスプーカー音声データでのゼロショット設定において、モデルの有効性はどの程度か？
• RQ5 音声生成器の選択が、全体の推論速度と品質に与える影響は何か？

主な発見

• バッチサイズ1において、1つのV100 GPUで0.011秒（321.58 RTF）の推論遅延を達成し、音声生成器を除いてリアルタイム性能を実現した。
• ファインチューニング設定では、自然さのMOSが3.30、スプーカー類似度がHub/Spokeで3.30/3.39と高く、最先端のN10モデルと同等の品質を達成した。
• ゼロショットConVoiceでは、スプーカー類似度のMOSがHubで2.93、Spokeで2.88であり、ファインチューニング後に著しく向上し、背景ノイズがほぼ完全に除去された。
• モデルのコンactなサイズ（音声生成器を除くと11Mパラメータ）のおかげで、高速でスケーラブルな推論が可能であり、品質劣化なしに任意長の入力に対応できる。
• 事前学習済みのASRおよびスプーカーモデルを活用することで、並列データや大量のファインチューニングの必要性がなくなり、わずか数秒のターゲットスプーカー音声のみで真のゼロショット変換が可能になった。
• WaveGlowをより効率的な音声生成器（例：WaveFlowやSqueezeWave）に置き換えることで、品質を維持したままエンドツーエンドの推論速度をさらに向上できる可能性がある。