[論文レビュー] WaveCycleGAN: Synthetic-to-natural speech waveform conversion using cycle-consistent adversarial networks

Kou Tanaka, Takuhiro Kaneko+2 more|arXiv (Cornell University)|Sep 25, 2018

Speech Recognition and Synthesis参考文献 1被引用数 5

ひとこと要約

本稿では、音声特徴量や音声合成器に依存せずに、合成音声波形を自然な音声に直接変換する、波形レベルで動作するサイクル整合性のある敵対的ネットワーク「WaveCycleGAN」を提案する。完全畳み込み型ゲート付きCNNアーキテクチャを用いることで、過剰に滑らかになる現象（over-smoothing）や音声合成器由来のアーティファクトを効果的に低減し、主観評価において音声の自然さが著しく向上した。

ABSTRACT

We propose a learning-based filter that allows us to directly modify a synthetic speech waveform into a natural speech waveform. Speech-processing systems using a vocoder framework such as statistical parametric speech synthesis and voice conversion are convenient especially for a limited number of data because it is possible to represent and process interpretable acoustic features over a compact space, such as the fundamental frequency (F0) and mel-cepstrum. However, a well-known problem that leads to the quality degradation of generated speech is an over-smoothing effect that eliminates some detailed structure of generated/converted acoustic features. To address this issue, we propose a synthetic-to-natural speech waveform conversion technique that uses cycle-consistent adversarial networks and which does not require any explicit assumption about speech waveform in adversarial learning. In contrast to current techniques, since our modification is performed at the waveform level, we expect that the proposed method will also make it possible to generate `vocoder-less' sounding speech even if the input speech is synthesized using a vocoder framework. The experimental results demonstrate that our proposed method can 1) alleviate the over-smoothing effect of the acoustic features despite the direct modification method used for the waveform and 2) greatly improve the naturalness of the generated speech sounds.

研究の動機と目的

• 音声自然さの低下を引き起こす統計的パrametric音声合成における過剰に滑らかになる現象（over-smoothing）と音声合成エラーを解消すること。
• 音声特徴量ではなく波形そのものに直接作用する、音声合成器フリーの後処理手法を開発すること。
• 合成波形と自然波形のフレームレベルのアライメントを必要とせず、敵対的学習を活用して音声品質を向上させること。
• 細粒度なスペクトル的・時間的構造を保持する学習ベースのフィルタを用いて、合成音声のエンドツーエンド強化を可能にすること。

提案手法

• 本手法は、フレームレベルでの対応データを必要とせず、合成波形と自然波形の間の写像を学習するサイクル整合性のある敵対的ネットワーク（CycleGAN）を採用する。
• 生成器および判別器の両方のネットワークに、インスタンス正則化とピクセルシャッフル層を備えた完全畳み込み型ゲート付きCNNアーキテクチャを採用し、可変長入力を処理できるようにする。
• 最小二乗GAN損失とハイパーパramータ λ_cyc = 10 を用いたサイクル整合性損失を用いてモデルを訓練する。
• 最初の20,000イテレーション間はアイデンティティ損失（λ_id）を適用し、線形に0に徐々に減少させることで、学習の安定化と入力特性の維持を図る。
• 生成器は残差ブロックを用い、知覚的損失および敵対的損失を最小化することで、自然音声波形の再構成を学習する。
• 波形入力を、学習セットからの統計を用いて平均0、分散1に正規化することで、学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 音声特徴量や音声合成器に依存せずに、学習ベースのフィルタが合成音声波形の自然さを向上させられるか。
• RQ2 サイクル整合性のある敵対的ネットワークは、統計的パrametric合成により生成された音声波形における過剰に滑らかになる現象をどの程度低減できるか。
• RQ3 特徴量レベルの後処理フィルターよりも、直接波形レベルで処理することの方が音声品質向上に優れているか。
• RQ4 提案手法は、過剰に滑らかになる現象と音声合成アーティファクトの両方を同時に緩和できるか。

主な発見

• 提案されたWaveCycleGAN手法は、主観評価の平均意見スコア（MOS）テストにおいて、顕著な音声自然さの向上を達成し、MOSが3.87を記録した。これはベースライン（3.21）およびGANv（3.52）よりも顕著に高い。
• モodulationスペクトル解析の結果、提案手法は特に高周波成分を自然音声とよく再現しており、ベースラインは強い過剰に滑らかになる現象を示していた。
• 聴取者からのフィードバックでは、音声合成器由来の典型的な「ざらついた音」（buzzy sound）が提案手法では著しく低減されており、音声合成アーティファクトの効果的低減が示された。
• 改善が見られたものの、一部の発話において「声が枯れている」（hoarse）と感じられる残留知覚的ギャップが依然として観察された。
• メルケプストラム係数における過剰に滑らかになる現象が、モdulationスペクトル比較により、自然音声に近づいたことから、効果的な緩和が確認された。
• 完全畳み込みアーキテクチャのおかげで、任意長の音声入力に対しても推論が可能であり、耐障害性とスケーラビリティの両面で優れた性能を示した。