[論文レビュー] A Vocoder-free WaveNet Voice Conversion with Non-Parallel Data

Xiaohai Tian, Eng Siong Chng+1 more|arXiv (Cornell University)|Feb 11, 2019

Speech Recognition and Synthesis参考文献 32被引用数 6

ひとこと要約

この論文では、中間の音声変換器特徴を必要とせず、スケーラーに依存しないフォニティックポストリアリティグラム（PPGs）を直接波形サンプルにマッピングするボコーダフリーのWaveNetベース音声変換システムを提案する。パラメトリックボコーダーを回避し、特徴マッチングの問題を回避することで、ベースライン手法に比べて顕著に高い音声品質を達成しており、主観的評価では優れた知覚的品質とスケーラー類似度を示している。

ABSTRACT

In a typical voice conversion system, vocoder is commonly used for speech-to-features analysis and features-to-speech synthesis. However, vocoder can be a source of speech quality degradation. This paper presents a vocoder-free voice conversion approach using WaveNet for non-parallel training data. Instead of dealing with the intermediate features, the proposed approach utilizes the WaveNet to map the Phonetic PosteriorGrams (PPGs) to the waveform samples directly. In this way, we avoid the estimation errors caused by vocoder and feature conversion. Additionally, as PPG is assumed to be speaker independent, the proposed method also reduces the feature mismatch problem in WaveNet vocoder based approaches. Experimental results conducted on the CMU-ARCTIC database show that the proposed approach significantly outperforms the baseline approaches in terms of speech quality.

研究の動機と目的

• パラメトリックボコーダーの使用を排除することで、特徴推定誤差による音声品質の低下を回避すること。
• スケーラーに依存しないPPGsを入力として用いることで、WaveNetボコーダー搭載音声変換システムにおける特徴マッチング問題を解決すること。
• ソース・ターゲットスケーラー間の並列学習データを必要としないエンドツーエンド音声変換を可能にすること。
• 条件付きWaveNetを用いてPPGsから直接波形を生成することで、音声品質を向上させること。
• 非並列音声変換においても、スケーラーの個性を維持しながら高い知覚的品質を達成すること。

提案手法

• 本手法は、事前学習済みモデルを用いてソース音声から抽出されたスケーラーに依存しない音声特徴としてのフォニティックポストリアリティグラム（PPGs）を用いる。
• 条件付きWaveNetを用いて、PPGsをローカルな条件入力として用い、直接波形サンプルを生成する。
• 中間のスペクトル特徴やボコーダーステージを一切経由せず、PPGsから時間領域の音声サンプルへのマッピングを学習する。
• 学習プロセスにはソース・ターゲット音声ペアが不要であり、各スケーラーの単語音声データのみで十分である。
• WaveNetアーキテクチャは、拡張された因果的畳み込み、ゲート付き活性化ユニット、およびリプルス接続を採用し、長距離の時系列依存性をモデル化する。
• モデルは、固定学習率0.0001、15,000のミニバッチサイズ、200,000ステップの学習を、波形振幅を16ビットμ-law符号化で行い、Adam最適化アルゴリズムで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ボコーダーなしの音声変換システムは、従来のWaveNetボコーダー搭載手法に比べてより高い音声品質を達成できるか？
• RQ2 スケーラーに依存しないPPGsを入力として用いることで、WaveNetベース音声変換における特徴マッチング問題が軽減されるか？
• RQ3 PPGsから直接波形を生成することで、中間スペクトル特徴やボコーダーに依存するシステムを上回る性能が得られるか？
• RQ4 本手法は、ベースラインのGMMおよびWaveNetベースシステムと比較して、音声品質およびスケーラー類似度の観点でどの程度の性能を示すか？
• RQ5 ソース・ターゲットスケーラー間の並列学習データを必要としない高品質な音声変換システムの学習は可能か？

主な発見

• 提案されたWaveNet-VC手法は、全テストペアにおいて平均RMSEが13.73 dBを達成し、WaveNet-PPGベースライン（14.61 dB）を上回り、GMM-WaveNetベースラインと比較しても競争力のある性能を示した。
• 主観的品質評価では、WaveNet-VCがWaveNet-PPGおよびGMM-WaveNetベースラインを有意に上回り、p値が統計的有意性を示した。
• スケーラー類似度評価では、WaveNet-VCはWaveNet-PPGを有意に上回ったが、GMM-WaveNetやGMM(GV)-WaveNetと比較してスケーラー個性の保持において有意差は認められなかった。
• 従来のボコーダーを用いないにもかかわらず、優れた知覚的音声品質を達成しており、PPGsからの直接波形生成の有効性を示している。
• パラメトリックボコーダーを排除することで、アーチファクトや推定誤差が低減し、クリアでより自然な響きの変換音声が得られた。
• ボコーダー搭載ベースラインと比較して、音声品質を向上させながらも高いスケーラー類似度を維持しており、品質と個性保持の間で良好なトレードオフが実現されていることが示された。