[論文レビュー] VQVAE Unsupervised Unit Discovery and Multi-scale Code2Spec Inverter for Zerospeech Challenge 2019

Andros Tjandra, Berrak Şişman+4 more|arXiv (Cornell University)|May 27, 2019

Speech Recognition and Synthesis参考文献 25被引用数 12

ひとこと要約

この論文は、ZeroSpeech 2019 チャレンジにおいて、教師なし音声ユニット発見およびゼロショット音声変換を目的とした、VQ-VAEに基づくシステムを提案している。ベクトル量子化を用いた離散的ユニット発見と、MSEおよび対抗的損失で訓練されたマルチスケール・Code2Specインバーターを統合することで、ABXスコア（23.59）、ビットレート（400）、音声の自然さにおいて、ベースラインおよびトップラインシステムを上回る優れた性能を達成した。

ABSTRACT

We describe our submitted system for the ZeroSpeech Challenge 2019. The current challenge theme addresses the difficulty of constructing a speech synthesizer without any text or phonetic labels and requires a system that can (1) discover subword units in an unsupervised way, and (2) synthesize the speech with a target speaker's voice. Moreover, the system should also balance the discrimination score ABX, the bit-rate compression rate, and the naturalness and the intelligibility of the constructed voice. To tackle these problems and achieve the best trade-off, we utilize a vector quantized variational autoencoder (VQ-VAE) and a multi-scale codebook-to-spectrogram (Code2Spec) inverter trained by mean square error and adversarial loss. The VQ-VAE extracts the speech to a latent space, forces itself to map it into the nearest codebook and produces compressed representation. Next, the inverter generates a magnitude spectrogram to the target voice, given the codebook vectors from VQ-VAE. In our experiments, we also investigated several other clustering algorithms, including K-Means and GMM, and compared them with the VQ-VAE result on ABX scores and bit rates. Our proposed approach significantly improved the intelligibility (in CER), the MOS, and discrimination ABX scores compared to the official ZeroSpeech 2019 baseline or even the topline.

研究の動機と目的

• 低リソース言語向けのテキストおよび発音ラベルを必要としない音声合成器の構築に挑戦すること。
• 翻訳なしの生音声から、非教師的手段でサブワードユニットを発見すること。
• ABX識別スコア、ビットレート圧縮、音声の自然さ／識別性の間でバランスの取れたトレードオフを達成すること。
• エンドツーエンドTTS性能において、ZeroSpeech 2019公式ベースラインおよびトップラインシステムを上回ること。

提案手法

• 生の音声特徴を離散的コードブックベクトルにマッピングするための、発話者埋め込みを条件とする条件付きVQ-VAEを用いることで、教師なしユニット発見を実現する。
• コードブックサイズ256を採用し、ストライド付き畳み込みで4倍の時間圧縮を実現。トレーニングの安定化のためコミットメント損失を適用する。
• マルチスケール・Code2Specインバーターは、1次元畳み込み（複数のカーネルサイズ）とLSGANの対抗的学習を用いて、コードブック系列からマグニチュードスペクトログラムを生成する。
• インバーターは発話者埋め込みに条件付けられ、平均二乗誤差とLSGAN損失で訓練され、スペクトログラムの忠実性および音声変換品質の向上が図られる。
• PyTorch上でAdam最適化手法を用いてエンドツーエンドで学習し、英語および驚きの声質の別に個別のインバーターを用意する。
• WaveNetやGANベースの音声変換による後処理を検討したが、コードブック系列に内在する歪みのため効果がなかった。

実験結果

リサーチクエスチョン

• RQ1 VQ-VAEは、K-Means や GMM といった従来のクラスタリング手法に比べ、低リソース音声における教師なしユニット発見で優れた性能を示せるか？
• RQ2 マルチスケール・Code2Specインバーターは、標準的なインバーターと比較して、スペクトログラム再構成および音声変換品質をどのように向上させるか？
• RQ3 完全に教師なしのTTSシステムにおいて、ABXスコア、ビットレート、音声品質の最適なトレードオフは何か？
• RQ4 VQ-VAEベースのシステムは、ZeroSpeech 2019の公式ベースラインおよびトップラインシステムを上回る識別性と自然さを達成できるか？

主な発見

• コードブックサイズ256、4倍時間圧縮を採用したVQ-VAEは、ABXスコア23.59、ビットレート400を達成し、公式ベースラインを著しく上回った。
• 提案手法は、ABXスコアとビットレートの両面で最良のバランスを実現した。256コードブック、4倍圧縮モデルが提出用に選定された。
• VQ-VAEベースのコードブック表現は、K-Means、GMM、および直接的な特徴表現と比較して、ABXおよびビットレート両方の指標で優れた性能を示した。
• マルチスケール・Code2Specインバーターは、高精細なマグニチュードスペクトログラムを効果的に生成し、離散的ユニットからの高品質な音声合成を可能にした。
• WaveNetおよびGANベースの音声変換は、コードブック生成特徴に内在する歪みのため、性能向上に寄与しなかった。
• 客観的評価（CER、ABX）および主観的評価（MOS）の両面で、公式ベースラインおよびトップラインシステムを上回る最先端の性能を示した。