[論文レビュー] FastS2S-VC: Streaming Non-Autoregressive Sequence-to-Sequence Voice Conversion

Hirokazu Kameoka, Kou Tanaka+1 more|arXiv (Cornell University)|Apr 14, 2021

Speech Recognition and Synthesis参考文献 58被引用数 8

ひとこと要約

本稿では、教師学生 distillation フレームワークを用いて、ターゲット音声入力を必要とせず、並列にアテンションマップを生成する畳み込み型アテンション予測器を搭載することで、推論を70–100倍高速化する非自己回帰的シーケンスツーセクエンス音声変換モデル FastS2S-VC を提案する。この手法により、GPU 上でわずか32 ms の遅延でリアルタイム推論が可能となり、高品質な音声とターゲット音声との類似性を維持する。

ABSTRACT

This paper proposes a non-autoregressive extension of our previously proposed sequence-to-sequence (S2S) model-based voice conversion (VC) methods. S2S model-based VC methods have attracted particular attention in recent years for their flexibility in converting not only the voice identity but also the pitch contour and local duration of input speech, thanks to the ability of the encoder-decoder architecture with the attention mechanism. However, one of the obstacles to making these methods work in real-time is the autoregressive (AR) structure. To overcome this obstacle, we develop a method to obtain a model that is free from an AR structure and behaves similarly to the original S2S models, based on a teacher-student learning framework. In our method, called "FastS2S-VC", the student model consists of encoder, decoder, and attention predictor. The attention predictor learns to predict attention distributions solely from source speech along with a target class index with the guidance of those predicted by the teacher model from both source and target speech. Thanks to this structure, the model is freed from an AR structure and allows for parallelization. Furthermore, we show that FastS2S-VC is suitable for real-time implementation based on a sliding-window approach, and describe how to make it run in real-time. Through speaker-identity and emotional-expression conversion experiments, we confirmed that FastS2S-VC was able to speed up the conversion process by 70 to 100 times compared to the original AR-type S2S-VC methods, without significantly degrading the audio quality and similarity to target speech. We also confirmed that the real-time version of FastS2S-VC can be run with a latency of 32 ms when run on a GPU.

研究の動機と目的

• リアルタイム応用における自己回帰的シーケンスツーセクエンス音声変換（S2S-VC）モデルの高い遅延を解消すること。
• 自己回帰構造を排除しながらも性能を維持できる非自己回帰的（NAR）S2S-VC の開発。
• 低遅延を実現するスライディングウィンドウ推論戦略を用いたリアルタイムデプロイの実現。
• 自己回帰構造を削除しても、高品質な音声および発話者／感情表現の類似性を維持すること。

提案手法

• モデルは、教師モデルのアテンション分布を模倣するように学習する教師学生 distillation フレームワークを採用している。
• アテンション予測器は、完全畳み込みネットワークであり、ソースのメルスペクトログ램とターゲットクラスインデックスに基づき、制約付きガウス関数を用いて並列にアテンション重み行列を生成する。
• 推論時、学生モデルはターゲットメルスペクトログラムの入力を排除することで、自己回帰的依存性を解消し、並列生成を可能にする。
• アーキテクチャには、プレネット、エンコーダ、アテンション予測器、プレデコーダ、ポストデコーダ、ポストネットが含まれ、エンドツーエンドの特徴マッピングと波形生成を実現する。
• リアルタイム動作は、入力音声をチャンク単位で処理するスライディングウィンドウ推論アプローチにより実現される。
• 波形生成には、すべての手法で一貫して使用されるParallel WaveGANが採用されている。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的S2S-VCモデルは、自己回帰的S2S-VCと同等の音声変換品質を達成しつつ、リアルタイム推論を可能にするか？
• RQ2 自己回帰的教師モデルからの知識 distillation は、非自己回帰的学生モデルにおける高速かつ並列推論をどの程度効果的に可能にするか？
• RQ3 本手法をGPUおよびCPUにスライディングウィンドウ処理でデプロイした場合、達成可能な遅延はどの程度か？
• RQ4 音声品質、発話者類似性、感情表現類似性の観点から、非自己回帰的モデルは自己回帰的S2S-VCと比較してどの程度の性能を示すか？

主な発見

• FastS2S-VC は、元の自己回帰的S2S-VCモデルと比較して、変換処理を70～100倍高速化した。
• FastS2S-VC–RT のリアルタイム版は、GPU 上で実行した際の遅延が32 ms にまで低下し、実用的なリアルタイムデプロイが可能となった。
• CPU 上では、実行可能な遅延が256 ms であったため、低遅延動作にはGPUの加速が不可欠であることが示された。
• FastS2S-VC–RT–Conv の音声品質は、主観的MOSテストで高く評価され、自己回帰的RNNベースのS2S-VCを上回り、最高性能を示したS2S-VC–BAT–Convモデルに近い性能を示した。
• FastS2S-VC の発話者類似性および感情表現類似性スコアは、自己回帰的S2S-VC–BAT–RNNベースラインと同等またはそれ以上であった。
• FastS2S-VC の畳み込み型バージョンは、Transformerベースのバージョンよりも客観的評価で優れた性能を示したため、リアルタイム実験における代表的モデルとしての採用が正当化された。