[論文レビュー] Voice Conversion Using Sequence-to-Sequence Learning of Context Posterior Probabilities

Hiroyuki Miyoshi, Yuki Saito+2 more|arXiv (Cornell University)|Apr 10, 2017

Speech Recognition and Synthesis参考文献 19被引用数 11

ひとこと要約

本稿では、音声変換のためのシーケンス・ツー・シーケンス学習フレームワークを提案する。このフレームワークは、元の音声の文脈後側確率をターゲットのものに変換することで、話者の発話速度や発音特性といった話者固有の特徴をより良くモデル化できる。音声認識、後側確率変換、音声合成モジュールを同時に学習させることで、従来の共有後側確率を用いた音声変換と比較して、話者類似性と音声品質の両面で優れた性能を達成する。

ABSTRACT

Voice conversion (VC) using sequence-to-sequence learning of context posterior probabilities is proposed. Conventional VC using shared context posterior probabilities predicts target speech parameters from the context posterior probabilities estimated from the source speech parameters. Although conventional VC can be built from non-parallel data, it is difficult to convert speaker individuality such as phonetic property and speaking rate contained in the posterior probabilities because the source posterior probabilities are directly used for predicting target speech parameters. In this work, we assume that the training data partly include parallel speech data and propose sequence-to-sequence learning between the source and target posterior probabilities. The conversion models perform non-linear and variable-length transformation from the source probability sequence to the target one. Further, we propose a joint training algorithm for the modules. In contrast to conventional VC, which separately trains the speech recognition that estimates posterior probabilities and the speech synthesis that predicts target speech parameters, our proposed method jointly trains these modules along with the proposed probability conversion modules. Experimental results demonstrate that our approach outperforms the conventional VC.

研究の動機と目的

• 発話速度や発音特性といった話者固有の特徴の転送に限界を示す従来の音声変換の問題を解決すること。
• 元音声の後側確率シーケンスからターゲットのものへと非線形かつ可変長の変換を可能にする、シーケンス・ツー・シーケンスモデルの開発。
• 音声認識、後側確率変換、音声合成モジュールを統合する共同学習アルゴリズムの提案、エンド・ツー・エンド最適化を実現。
• 客観的指標（例：メル倒スペクトル歪み）および主観的品質の両面で、特に話者類似性の向上を図る音声変換性能の改善。

提案手法

• 元音声の後側確率シーケンスからターゲットのものへと非線形かつ可変長のマッピングを学習するためのエンコーダ・デコーダアーキテクチャを導入。
• 文脈依存VCフレームワークにおいて、従来の音声認識モジュールと音声合成モジュールの間に、後側確率変換モジュールを挿入。
• 音声認識、後側確率変換、音声合成の3つのモジュールを、共通の目的関数を用いて共同で学習。
• 音声認識の学習には交差エントロピー、音声合成の学習には平均二乗誤差を用い、アラインメントと表現の両方の向上を図るための共同最適化を実施。
• 部分的な並列データ（例：一致するフレーズペア）を用いて、後側確率のシーケンス・ツー・シーケンス変換を教師付きで学習。
• トレーニングおよび評価の過程で、動的時間ワープ（DTW）を用いたアラインメントを実施したが、シーケンス・ツー・シーケンス学習によりDTWに起因するスペクトル歪みが低減されることを示した。

実験結果

リサーチクエスチョン

• RQ1 文脈後側確率のシーケンス・ツー・シーケンス学習は、話者固有の特徴（発話速度や発音特性など）の転送を向上させることができるか？
• RQ2 認識・変換・合成モジュールの共同学習は、個別に学習した場合と比較して、音声変換性能にどのような影響を与えるか？
• RQ3 提案手法は、非並列データにおけるアラインメントエラーに起因するスペクトル歪みを低減するか？
• RQ4 共同学習により、主観評価において話者類似性と音声品質の両方の向上がどの程度達成されるか？

主な発見

• 主観的XABテストにより、提案手法が従来の音声変換を上回ることを確認した。特に話者類似性が有意に向上（p < 0.05）。
• 認識と合成モジュールの共同学習により、自己符号化におけるメル倒スペクトル歪みが、別々に学習したモジュールと比較して1.2 dB低減された。
• 別々に学習した認識と合成モジュールを用いた場合でも、提案手法は従来のVCより0.8 dB低いメル倒スペクトル歪みを達成した。
• 主観的評価では、話者類似性の向上が確認されたが、発音特性の転送に起因する変換誤りの影響により、音声品質がわずかに劣化した。
• 認識・変換・合成の3つのモジュールをすべて共同で学習すると、確率出力がやや柔らかくなる傾向が見られ、別々に学習したモジュールと比較して性能がやや劣ることがある。
• シーケンス・ツー・シーケンスアプローチは、DTWに起因するスペクトル歪みを効果的に軽減しており、可視化結果（図8）から明確な後側確率シーケンスの質の向上が示された。