[論文レビュー] MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms

Marco Pasini|arXiv (Cornell University)|Oct 8, 2019

Speech Recognition and Synthesis参考文献 34被引用数 31

ひとこと要約

MelGAN-VCは、スペクトログラム変換を用いて高精細で任意長の音声サンプルを生成する非並列でGANベースの音声変換およびオーディオスタイル転送手法を提案する。特徴として、言語的コンテンツの保持と滑らかな連結を保証するため、シアンプスネットワークとTraVeL損失、スペクトログラムタイリングを活用しており、クリアな音声およびノイズ混在音声、さらには音楽ジャンル転送においても現実的な結果を達成している。

ABSTRACT

Traditional voice conversion methods rely on parallel recordings of multiple speakers pronouncing the same sentences. For real-world applications however, parallel data is rarely available. We propose MelGAN-VC, a voice conversion method that relies on non-parallel speech data and is able to convert audio signals of arbitrary length from a source voice to a target voice. We firstly compute spectrograms from waveform data and then perform a domain translation using a Generative Adversarial Network (GAN) architecture. An additional siamese network helps preserving speech information in the translation process, without sacrificing the ability to flexibly model the style of the target speaker. We test our framework with a dataset of clean speech recordings, as well as with a collection of noisy real-world speech examples. Finally, we apply the same method to perform music style transfer, translating arbitrarily long music samples from one genre to another, and showing that our framework is flexible and can be used for audio manipulation applications different from voice conversion.

研究の動機と目的

• 実世界の応用ではしばしば入手困難な並列学習データを必要としない音声変換手法の開発。
• 固定長のGANベースモデルに起因する制限を克服し、任意長の音声サンプルに対するエンドツーエンドの変換を可能にすること。
• サイクル整合性制約に依存せずに、シアンプスネットワークとTraVeL損失を用いて、言語的コンテンツの保持を実現すること。
• 音声変換を越えて、音楽ジャンル転送のような一般のオーディオスタイル転送にも応用可能なフレームワークの拡張。
• グリフィス・リム再構成を用いたノイズ混在の現実世界の音声データにおけるロバストネスと高品質な音声再構成の実証。

提案手法

• 学習安定性を確保するため、生成器と判別器の両方にU-Netベースの生成器とスペクトル正規化を適用する。
• スペクトログラムを時間軸に沿って重複するパッチに分割し、生成器で処理した後、連結して連続な出力を得る。これにより境界での不連続性を回避する。
• 元のスペクトログラムと生成されたスペクトログラムを処理するシアンプスネットワークを用い、潜在空間におけるベクトル演算を強制することで、TraVeL損失によりコンテンツを保持する。
• 特に音声変換タスクにおいて言語的コンテンツの保持を強化するために、訓練中にアイデンティティ損失を適用する。
• メルスペクトログラムを対数スケーリングで使用し、-1から1に正規化し、グリフィス・リムアルゴリズムで波形を再構成する。
• 生成器/判別器ごとに別々の学習率を設定し、生成器の更新ごとに複数回の判別器更新を実施する。Adam最適化手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 GANベースの音声変換システムは、並列学習データを必要としない状況でも高精細な結果を達成できるか？
• RQ2 サイクル整合性やピixel単位の再構成に依存せずに、コンテンツ保持をどのように実現できるか？
• RQ3 スペクトログラムセグメントのタイリングと連結によって、任意長の音声サンプルへの一般化が可能か？
• RQ4 同じフレームワークは音声変換を超えて、音楽ジャンル転送のようなオーディオスタイル転送にも対応可能か？
• RQ5 ノイズ混在の現実世界の音声データに対して、クリアで並列データと比較して、モデルの性能はどの程度か？

主な発見

• ARCTICデータセットにおいて、MelGAN-VCは高精細な音声変換結果を生成し、性別内および性別間の両設定において言語的明瞭性が保持されている。
• ドナルド・トランプのユーチューブスピーチから得たノイズ混在の現実世界の音声サンプルに対しても、リアルな出力を得ており、入力のノイズの影響によりわずかに明瞭性が低下しているが、実用的である。
• サイクル整合性を必要とせず、シアンプスネットワークとTraVeL損失を用いることで、コンテンツの保持が効果的に実現され、柔軟なドメイン間変換が可能である。
• アイデンティティ損失は音声変換においてコンテンツ保持を向上させるが、音楽ジャンル転送では不要であり、これを省略することで計算コストを削減できる。
• GTZANデータセットを用いた音楽スタイル転送において、ロッカーク、ジャズ、クラシカルなど異なるジャンル間での変換に成功した。
• グリフィス・リム再構成により生成された音声サンプルは、高次元のスペクトログラムを用いることで、高い知覚的品質を維持している。