[論文レビュー] Mel-spectrogram augmentation for sequence to sequence voice conversion

Yeongtae Hwang, Hye Min Cho+4 more|arXiv (Cornell University)|Jan 6, 2020

Speech Recognition and Synthesis参考文献 21被引用数 14

ひとこと要約

本稿では、限られたペaired学習データを前提としたsequence-to-sequence音声変換（VC）モデルの性能向上を目的として、メルスペクトログ램の増強技術——特に時間軸長制御、周波数ワープ、音量制御——を提案する。時間軸ワープ方針、特にソースおよびターゲットの両方に適用された時間軸長制御が、話者特徴を保持しつつデータの多様性を高めるため、複数の学習データサイズにおいてマスキングや他の増強戦略を上回る最高のVC性能を達成することが示された。

ABSTRACT

For training the sequence-to-sequence voice conversion model, we need to handle an issue of insufficient data about the number of speech pairs which consist of the same utterance. This study experimentally investigated the effects of Mel-spectrogram augmentation on training the sequence-to-sequence voice conversion (VC) model from scratch. For Mel-spectrogram augmentation, we adopted the policies proposed in SpecAugment. In addition, we proposed new policies (i.e., frequency warping, loudness and time length control) for more data variations. Moreover, to find the appropriate hyperparameters of augmentation policies without training the VC model, we proposed hyperparameter search strategy and the new metric for reducing experimental cost, namely deformation per deteriorating ratio. We compared the effect of these Mel-spectrogram augmentation methods based on various sizes of training set and augmentation policies. In the experimental results, the time axis warping based policies (i.e., time length control and time warping.) showed better performance than other policies. These results indicate that the use of the Mel-spectrogram augmentation is more beneficial for training the VC model.

研究の動機と目的

• sequence-to-sequence音声変換モデルを学習する際の、同一発話で異なる話者のペアデータが不足するという課題に対処すること。
• 限られた学習データにおいてメルスペクトログラム増強の有効性を検証すること。
• 変形量対劣化率（DPD）比を用いたハイパーパrameter探索戦略を構築し、VCモデルの再学習を伴わずに訓練コストを削減すること。
• 既存（SpecAugment）および新規に提案された複数の増強ポリシーがVC品質に与える影響を評価・比較すること。

提案手法

• メルスペクトログラム増強のためのSpecAugmentポリシー（時間ワープ、周波数マスキング、時間マスキング）を採用した。
• 新規に提案された増強ポリシー：周波数ワープ（ピッチ変動）、音量制御（アテネイション変調）、時間軸長制御（速度変動）。
• VCモデルを完全に訓練せずに増強ポリシーの有効性を評価するため、DPD（変形量対劣化率）指標を設計した。
• 増強ポリシーを学習中にオンラインで適用し、実験コストを最小化するため、DPDに基づく探索でハイパーパrameterを最適化した。
• 複数の学習データサイズ（1/16〜フル）で一対一の音声変換実験を実施し、ポリシーの影響を評価した。
• 標準的なVC評価指標（MCD（メルケプストラル歪み）、CER（文字誤り率）、自然さ、類似度）を用いて結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 限られたペアデータにおいて、どのメルスペクトログラム増強ポリシーがsequence-to-sequence音声変換性能を最も効果的に向上させるか？
• RQ2 時間軸ワープポリシーは周波数軸マスキングや他の増強戦略と比較して、VC品質においてどのように差を示すか？
• RQ3 DPD指標は、VCモデルを完全に訓練せずに、メルスペクトログラム増強の最適ハイパーパrameterを信頼性を持って予測できるか？
• RQ4 複数の増強ポリシーを組み合わせることでVC性能が向上するのか、それとも言語的・音声的忠実度が損なわれるのか？
• RQ5 増強の有効性は、学習データのサイズに応じてどのように変化するか？

主な発見

• ソースおよびターゲットの両方のメルスペクトログラムに時間軸長制御（TLC）を適用した場合が、全学習データセットで最も優れた全体的な性能を示し、MCD（6.641）が最低で類似度（3.673）が最高であった。
• 時間ワープ（TW）とTLCの両方が、全学習データサイズで一貫した改善を示した。特にTLCは、全データセットでMCD（6.641）と類似度（3.673）が最高を記録した。
• マスキングポリシー（周波数および時間マスキング）は性能を低下させた。これは、重要な言語的・音声的情報を損なうためと推測される。
• 周波数ワープと音量制御は、ほとんどまたは負の効果しか示さず、話者固有の特徴を損なう割合が補正効果を上回っている可能性を示唆している。
• 複数ポリシーの組み合わせは性能向上をもたらさず、むしろ悪化する傾向にあり、データ増強の多様性と情報保持の間のトレードオフが顕在化していると考えられる。
• DPD指標は、VCモデルの完全な訓練を要せず、有効なハイパーパrameterを的確に同定でき、実験コストを顕著に削減できた。