[論文レビュー] One-shot Voice Conversion by Separating Speaker and Content Representations with Instance Normalization

Ju-Chieh Chou, Cheng-chieh Yeh+1 more|arXiv (Cornell University)|Apr 10, 2019

Speech Recognition and Synthesis参考文献 35被引用数 19

ひとこと要約

本稿では、インスタンス正規化（IN）を用いて話者とコンテンツの表現を分離することで、1回の入力（1ショット）で未学習話者への音声変換を可能にする手法を提案する。本手法は、並列データや話者ラベルを必要とせず、高品質で話者に類似した出力を得られる。また、教師なしで意味のある話者埋め込みを学習する。

ABSTRACT

Recently, voice conversion (VC) without parallel data has been successfully adapted to multi-target scenario in which a single model is trained to convert the input voice to many different speakers. However, such model suffers from the limitation that it can only convert the voice to the speakers in the training data, which narrows down the applicable scenario of VC. In this paper, we proposed a novel one-shot VC approach which is able to perform VC by only an example utterance from source and target speaker respectively, and the source and target speaker do not even need to be seen during training. This is achieved by disentangling speaker and content representations with instance normalization (IN). Objective and subjective evaluation shows that our model is able to generate the voice similar to target speaker. In addition to the performance measurement, we also demonstrate that this model is able to learn meaningful speaker representations without any supervision.

研究の動機と目的

• 推論時に未学習話者に一般化できない既存の教師なし音声変換モデルの制限を解消すること。
• 訓練データに含まれない話者からの1つの参照音声のみを用いて、1ショット音声変換を可能にすること。
• 深層生成モデルにおいて話者アイデンティティと言語的コンテンツ表現を分離し、一般化性と制御性を向上させること。
• 敵対的訓練を用いずに、インスタンス正規化がコンテンツ表現内の話者情報を効果的に抑制できることを示すこと。
• 教師なしで意味のある分離された話者埋め込みを学習できることを示すこと。

提案手法

• 話者エンコーダ、コンテンツエンコーダ、デコーダの3つのコンponentを備えた変分オートエンコーダ（VAE）フレームワークを採用する。
• コンテンツエンコーダにアフィン変換なしのインスタンス正規化（IN）を適用し、チャネル統計を正規化し、グローバルな話者関連情報を除去する。
• デコーダで適応的インスタンス正規化（AdaIN）を用い、話者エンコーダがアフィンパラメータを予測することで、話者固有の特徴を注入する。
• 並列データやフレームレベルのアライメントを一切使用せず、非並列な音声データのみを用いて、エンドツーエンドでモデルを学習する。
• グローバル平均プーリングの時間平均特性とINを組み合わせることで、コンテンツエンコーダが話者情報を排除するよう強制する。
• 学習済み話者埋め込みの品質を評価するために、t-SNE可視化と話者分類精度を用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練や教師信号なしで、インスタンス正規化が音声変換モデルにおける話者表現とコンテンツ表現の分離に有効に機能するか？
• RQ2 推論時に1話者あたり1つの参照音声のみを用いて、未学習話者への音声変換が一般化可能か？
• RQ3 本手法は、明示的な教師信号や話者ラベルなしに、意味のある分離された話者埋め込みを学習できるか？
• RQ4 1ショット設定において、ターゲット話者と比較して話者類似性とスペクトル忠実度の両面でどの程度の性能を示すか？
• RQ5 並列学習データやフレームレベルのアライメントを必要とせず、高品質な音声変換が可能か？

主な発見

• 本モデルは、訓練データに含まれない話者に対しても、1つのソース音声と1つのターゲット音声のみを用いて、高品質な音声変換を実現する。
• 客観的評価では、変換音声のグローバル分散分布がターゲット話者とよく一致しており、話者特徴の正確な移行が確認された。
• スペクトログラムの可視化から、本モデルは発音の内容を保持しつつ、基本周波数（F0）とスペクトルエンVELOPをターゲット話者に正確に再現していることが確認された。
• INを適用したコンテンツエンコーダの出力では話者識別精度が0.375にまで低下し、INを適用しない場合の0.658と比較して、残存する話者情報が最小限であることが示された。
• 話者エンコーダは、教師信号なしでも意味的で分離された話者埋め込みを学習する：未学習話者では話者識別タスクで99.98%の分類精度を達成した。
• 主観的評価では、人間の聴取者による評価で、変換音声がターゲット話者と強く類似していると評価され、4段階の類似度スコアで強い知覚的一致が得られた。