[論文レビュー] Voice Conversion using Convolutional Neural Networks

Shariq Mobin, Joan Bruna|arXiv (Cornell University)|Oct 27, 2016

Music and Audio Processing参考文献 2被引用数 5

ひとこと要約

本論文では、深層視覚類似性ネットワーク（VAN）と定常Q変換（CQT）特徴量を組み合わせた条件付き生成対抗ネットワーク（cGAN）を用いた音声変換手法を提案する。この手法は、話者特徴（トーン）と言語的コンテンツを分離する。モデルは話者のトーンを保持しながら発話内容を変換する能力を発揮し、聴覚的に自然な音声変換を達成するが、復号段階でのアップサンプリングのため周波数分解能は依然として限定的である。

ABSTRACT

The human auditory system is able to distinguish the vocal source of thousands of speakers, yet not much is known about what features the auditory system uses to do this. Fourier Transforms are capable of capturing the pitch and harmonic structure of the speaker but this alone proves insufficient at identifying speakers uniquely. The remaining structure, often referred to as timbre, is critical to identifying speakers but we understood little about it. In this paper we use recent advances in neural networks in order to manipulate the voice of one speaker into another by transforming not only the pitch of the speaker, but the timbre. We review generative models built with neural networks as well as architectures for creating neural networks that learn analogies. Our preliminary results converting voices from one speaker to another are encouraging.

研究の動機と目的

• 話者アイデンティティ（トーン）と言語的コンテンツを分離するニューラルネットワークベースの音声変換手法を開発すること。
• 手作業で設計された聴覚モデルを避けるために、ニューラルネットワークがトーン転送の変換演算子を学習できるかどうかを検証すること。
• 手作業で設計された特徴量の代わりにエンドツーエンド学習を用いることで、先行研究を改善すること。
• 条件付きGANが話者固有の音声特性をモデル化しつつ、語のアイデンティティを維持する可能性を検討すること。

提案手法

• モデルは、生の音声を人間の聴覚処理を模倣する対数周波数表現に変換するため、定常Q変換（CQT）を用いる。
• 生成器として深層視覚類似性ネットワーク（VAN）を用い、類似性の解法を学習する：「元の話者の声は、ターゲット話者の声と同じように、入力語は出力語と同じである」という類推的マッピングを学習する。
• 生成器は、話者および語のアイデンティティに基づいて、実際のCQT特徴量と生成されたCQT特徴量を識別する条件付きGANフレームワークで訓練される。
• 目的関数は、敵対的損失を最小化するとともに、生成されたCQTが実データの話者および語のカテゴリと一致するように促進する。
• 訓練中にバイアス付きサンプリング戦略を採用し、バッチの半分を生成器からサンプリングすることで、偽の話者および語の識別を向上させる。
• モデルは、異なる話者が同じ単語を発話する際の再構成を学習することで、トーンとコンテンツの分離表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、発話内容を保持したまま、1人の話者のトーンを別の話者に転送できるか？
• RQ2 VANベースの生成器を備えた条件付きGANは、知覚的に自然な音声変換をどれほど正確に再構成できるか？
• RQ3 CQT特徴量を用いることで、生波形や標準的なフーリエ変換と比較して、トーンの分離性がどの程度向上するか？
• RQ4 周波数分解能と知覚的品質の観点から、現在のアプローチの限界は何か？
• RQ5 VANとGANアーキテクチャの組み合わせは、音声変換を分離問題としてモデル化するのにどの程度有効か？

主な発見

• モデルは、発話内容を保持したまま、1人の話者のトーンを別の話者に効果的に転送し、知覚的に自然な音声変換を生成した。
• 生成された音声はターゲット話者のハーモニック構造をよく再現しており、スペクトルエンVELOープおよびピッチ特性の学習が効果的に行われたことを示している。
• 生成信号における周波数分解能は限定的であり、復号段階でのアップサンプリングが主な要因であると考えられる。
• 1人の話者と4つの語でのみ構成される小さな訓練データセットでもモデルが良好に動作しており、より多くのデータで一般化が可能である可能性を示している。
• 音声サンプルでは、モデルがターゲット話者に似た音声を生成しているが、必ずしも区別できないほどではない。
• 条件付きGANの訓練は依然として困難であり、著者らは安定的かつ高品質な結果を得るためにはさらなる最適化が必要であると指摘している。