[論文レビュー] Generative Adversarial Networks for Unpaired Voice Transformation on Impaired Speech

Li-Wei Chen, Hung-yi Lee+1 more|arXiv (Cornell University)|Oct 30, 2018

Speech Recognition and Synthesis参考文献 27被引用数 5

ひとこと要約

本稿では、平行データを必要とせずに、障害をきたした発話からより明瞭で理解しやすい正常発話に変換する、GANベースでエンドツーエンドの教師なし音声変換モデルを提案する。この手法は、コントローラーが障害発話をコンテンツ・スピークコードにマッピングし、生成器がそのコードを用いて自然で発話者を保持する発話を合成する。このアプローチは、音声の理解性と発話者特徴の保持の両面で、CycleGANを上回っている。

ABSTRACT

This paper focuses on using voice conversion (VC) to improve the speech intelligibility of surgical patients who have had parts of their articulators removed. Due to the difficulty of data collection, VC without parallel data is highly desired. Although techniques for unparallel VC, for example, CycleGAN, have been developed, they usually focus on transforming the speaker identity, and directly transforming the speech of one speaker to that of another speaker and as such do not address the task here. In this paper, we propose a new approach for unparallel VC. The proposed approach transforms impaired speech to normal speech while preserving the linguistic content and speaker characteristics. To our knowledge, this is the first end-to-end GAN-based unsupervised VC model applied to impaired speech. The experimental results show that the proposed approach outperforms CycleGAN.

研究の動機と目的

• 声帯や発話器の切除によって生じる発音障害をきたす外科的患者の音声理解性を向上させる課題に対処すること。
• 障害発話と正常発話のペアデータが不足している問題を克服し、教師なしでペアのない音声変換を可能にすること。
• 変換過程で言語的コンテンツと発話者固有の特徴を保持することで、発話者アイデンティティと自然さを維持すること。
• 既存のGANベースの手法（例：CycleGAN）を上回り、発話者アイデンティティの保持と発音の改善を実現する手法を開発すること。

提案手法

• 生成器G、識別器D、コントローラーCの3部構成のアーキテクチャを採用し、敵対的フレームワーク内でエンドツーエンドに訓練する。
• 生成器Gはコンテンツコードcから正常発話を生成するが、識別器Dは本物の正常発話と生成されたサンプルを区別する。
• コントローラーCは入力の障害発話をコンテンツコードcにマッピングし、Gがそのコードを用いて言語的および発話者特徴を保持した正常発話を生成する。
• 低レベルの信号差を置き換え、識別器の隠れ層を用いた知覚ベースの損失を採用し、障害発話と生成発話の高レベルな類似性を評価する。
• 生成器と識別器は大規模な正常発話データセットで訓練されるが、コントローラーは障害発話にのみ特化して訓練され、高レベルな差を最小化する。
• コントローラー損失を組み込んだ修正された敵対的損失を採用し、コントローラーがコンテンツと発話者アイデンティティの観点で本物の正常発話と区別がつかない出力を生成するよう促進する。

実験結果

リサーチクエスチョン

• RQ1 ペアのない音声変換を可能にし、平行データを必要とせずに、GANベースのモデルが障害発話の音声理解性を効果的に向上させられるか。
• RQ2 提案手法は、変換過程で障害発話の言語的コンテンツと発話者アイデンティティをどの程度保持できるか。
• RQ3 サイクル整合性損失と比較して、識別器の特徴を介した知覚ベースの損失が、コンテンツと発話者一貫性を維持する上でどのような影響を及ぼすか。
• RQ4 なぜCycleGANはこの特定の障害発話設定では発話者アイデンティティと言語的コンテンツを保持できないのか。
• RQ5 生成器とコントローラーの共同訓練と比較して、コントローラーベースのアーキテクチャは、訓練の安定性と音声品質においてどのように異なるか。

主な発見

• 提案手法は、発音のための平均意見スコア（MOS）が59.4%を達成し、CycleGAN（33.2%）とcGAN（41.4%）を著しく上回り、優れた理解性向上を示した。
• 発話者特徴の類似度MOSは56.4%、言語的コンテンツの類似度MOSは60.2%であり、いずれもCycleGANの32.4%および37.4%を大幅に上回り、発話者アイデンティティとコンテンツの保持が優れていることを示した。
• アブレーションスタディでは、識別器の拡張入力を除いた条件（NoSD）では、コントローラーと識別器の両方の損失が上昇し、生成器の品質が低下し、スペクトログラムがぼやけることが示された。
• 生成器とコントローラーの共同訓練（C&G）では、識別器損失が急速にゼロに下がり、生成器の品質が悪く、本物らしくない出力が生成されることを示した。
• CycleGANはステガノグラフィックな挙動を示しており、元の入力情報がターゲットドメインに保持されており、サイクルバックによる再構成適合性が高いため、コンテンツと発話者一貫性が損なわれる。
• 識別器の特徴を用いた高レベルな類似性に基づくコントローラーのアプローチは、サイクル整合性損失がコンテンツと発話者保持を強制できないのとは対照的に、知覚的に関連する次元で障害発話と生成発話の差を効果的に最小化した。