[論文レビュー] Improving Accent Conversion with Reference Encoder and End-To-End Text-To-Speech

Wenjie Li, Benlai Tang+7 more|arXiv (Cornell University)|May 19, 2020

Speech Recognition and Synthesis被引用数 7

ひとこと要約

この論文では、非並列データや推論時のネイティブ発音を必要とせず、音声品質とネイティブ発音の類似度を顕著に向上させるエンドツーエンドのアクセント変換システムを提案する。事前学習済みの音声合成（TTS）モデルを用いてネイティブ基準音声を生成し、リファレンスエンコーダーを活用して抑揚やイントネーション特徴を強化することで、音声品質とネイティブ発音の類似度が向上する。MOS（平均意見スコア）は30%相対的増加、ネイティブ発音の好みは68%相対的向上を達成した。

ABSTRACT

Accent conversion (AC) transforms a non-native speaker's accent into a native accent while maintaining the speaker's voice timbre. In this paper, we propose approaches to improving accent conversion applicability, as well as quality. First of all, we assume no reference speech is available at the conversion stage, and hence we employ an end-to-end text-to-speech system that is trained on native speech to generate native reference speech. To improve the quality and accent of the converted speech, we introduce reference encoders which make us capable of utilizing multi-source information. This is motivated by acoustic features extracted from native reference and linguistic information, which are complementary to conventional phonetic posteriorgrams (PPGs), so they can be concatenated as features to improve a baseline system based only on PPGs. Moreover, we optimize model architecture using GMM-based attention instead of windowed attention to elevate synthesized performance. Experimental results indicate when the proposed techniques are applied the integrated system significantly raises the scores of acoustic quality (30$\\%$ relative increase in mean opinion score) and native accent (68$\\%$ relative preference) while retaining the voice identity of the non-native speaker.

研究の動機と目的

• 推論時に並列データやネイティブ発音を必要としないアクセント変換を可能にすること。
• 抑揚と言語的特徴を統合することで、非ネイティブ発音の音声品質とネイティブ発音の類似度を向上させること。
• PPG（発音後退確率）のみのシステムの限界を補完するため、リファレンスエンコーダーからの補足的情報を統合すること。
• GMMアテンションやCBHGエンコーダーといったアーキテクチャの改善を通じて、モデルの安定性と表現力を向上させること。
• 学習者向けに高精細でネイティブ発音に近い音声を生成することで、コンピュータ支援発音訓練（CAPT）を支援すること。

提案手法

• 1時間のネイティブ発音データで事前学習されたエンドツーエンドTTSシステムを用い、非ネイティブ発話のための基準音声を生成することで、推論時に収集済みのネイティブ発音を必要としない。
• リファレンスエンコーダー（深層ニューラルネットワーク）を活用し、生成されたネイティブ基準音声から抑揚的・表現的特徴を抽出。この特徴は発音後退確率（PPG）と連結される。
• PPG（発音内容）とリファレンスエンコーダー出力（抑揚・イントネーション）を組み合わせることで、マルチソース特徴統合戦略を導入し、入力表現を豊かにすること。
• 標準的なウィンドウ型アテンションに代えてGMMベースのアテンションを採用し、シーケンス内の長距離依存関係のモデリングとアライメントの安定性を向上させること。
• Tacotron2のエンコーダーをCBHGエンコーダーに置き換え、特徴表現力とモデルの表現力を強化すること。
• 予測されたメルスペクトログラムからリアルタイムに高精細波形を生成するWaveRNN音声合成器を活用すること。

実験結果

リサーチクエスチョン

• RQ1 TTSベースのリファレンス生成システムは、アクセント変換において並列データやネイティブリファレンス音声の必要性を効果的に代替できるか？
• RQ2 PPGとリファレンスエンコーダー出力の組み合わせは、アクセント変換の品質と抑揚にどのように寄与するか？
• RQ3 GMMアテンションやCBHGエンコーダーといったアーキテクチャの改善は、モデルの安定性と音声品質にどの程度寄与するか？
• RQ4 本手法は、顕著に非ネイティブ発音を軽減しつつも、発話者の個性を保持できるか？
• RQ5 MOS、好み、音声類似度といった目的的・主観的指標において、異なるシステムバージョンはどのように比較されるか？

主な発見

• 提案手法は、ベースラインと比較して平均意見スコア（MOS）が30%相対的に向上し、音声品質の顕著な向上を示した。
• ネイティブ発音の好みは68%相対的に向上し、自然なネイティブ発音に近い音声を生成する優れた性能を示した。
• PPGと音素系列の両方をリファレンスエンコーダーに入力するSystem 3が、最も高いMOSスコアを記録し、PPGのみまたはメルスペクトログラムのみに依存するシステムを上回った。
• 音声類似度は各システムで維持されており、聴取者による信頼性と好みの評価において、System 1、2、3に有意差は認められず、発話者個性の保持が堅牢であった。
• アクセント類似度テストでは、リファレンスエンコーダーを搭載したSystem 2および3がベースラインを著しく上回り、特にSystem 3は3.58/5のスコアを記録した（元のZHAA録音は1.81）。
• リファレンスエンコーダーの統合とアーキテクチャ最適化（GMMアテンション、CBHG）は相乗効果を示し、性能向上の主な要因であった。