[論文レビュー] Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition

Ting-Yao Hu, Mohammadreza Armandpour+4 more|arXiv (Cornell University)|Oct 21, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

Synt++ は、合成音声データと実際の音声データの間の分布ギャップを解消するために、2つの主要な技術を用いる。1つは、低品質な合成サンプルをフィルタリングするための拒否サンプリングであり、もう1つは学習中に実データと合成データのための別々のバッチ正規化（BN）統計を計算・維持することである。この手法により、単純な合成データの使用と比較して、WERは最大13%低下し、誤検出率は最大18%低下する。

ABSTRACT

With recent advances in speech synthesis, synthetic data is becoming a viable alternative to real data for training speech recognition models. However, machine learning with synthetic data is not trivial due to the gap between the synthetic and the real data distributions. Synthetic datasets may contain artifacts that do not exist in real data such as structured noise, content errors, or unrealistic speaking styles. Moreover, the synthesis process may introduce a bias due to uneven sampling of the data manifold. We propose two novel techniques during training to mitigate the problems due to the distribution gap: (i) a rejection sampling algorithm and (ii) using separate batch normalization statistics for the real and the synthetic samples. We show that these methods significantly improve the training of speech recognition models using synthetic data. We evaluate the proposed approach on keyword detection and Automatic Speech Recognition (ASR) tasks, and observe up to 18% and 13% relative error reduction, respectively, compared to naively using the synthetic data.

研究の動機と目的

• 音声認識の学習において、実際の音声データと合成音声データの間の分布ギャップを是正すること。
• 不完全な合成データが引き起こすアーティファクト、過剰/不足サンプリング、ドメインシフトを軽減すること。
• 完璧な合成を必要とせずに、合成データを用いて ASR およびキーワード検出のパフォーマンスを向上させること。
• 不完全な合成データを用いた学習においてもモデルのロバスト性を高める実用的なフレームワークを開発すること。

提案手法

• 訓練済みの識別器が合成サンプルを実物または合成データとして分類する際の信頼度に基づいて、合成サンプルをフィルタリングするための拒否サンプリングアルゴリズムを用いる。
• 識別器は実際の音声と合成音声のサンプルを区別するように訓練され、その出力確率が合成サンプルの確率的受容または拒否を指揮する。
• 学習中に、実データと合成データのための別々のバッチ正規化（BN）統計が計算され、維持される。
• 推論時には、合成データの統計によるドメインシフトを避けるために、実データのBN統計のみが使用される。
• この手法は、アーキテクチャの変更を要せず、ASRおよびキーワード検出モデルにエンドツーエンドで適用可能である。
• 本手法は、標準的な指標（WERや誤検出率など）を用いて、LibriSpeech および Speech Commands データセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 拒否サンプリングは、合成音声データに含まれるアーティファクトや分布の不一致が ASR パフォーマンスに与える影響を軽減できるか？
• RQ2 実データと合成データのための別々のバッチ正規化統計を用いることで、モデルの一般化性能が向上し、誤差率が低下するか？
• RQ3 Synt++ の技術を組み合わせた場合、単純な合成データの使用と比較して、どの程度 ASR やキーワード検出の性能が向上するか？
• RQ4 低リソースおよびフルリソースの設定において、異なるモデルサイズとデータスケールの下で Synt++ はどの程度の性能を示すか？

主な発見

• LibriSpeech 960h データセットにおいて、Synt++ は実データと合成データを単純に組み合わせた学習と比較して、相対的に WER を最大13%低減した。
• LibriSpeech 100h データセットでは、実データと合成データを用いたベースラインと比較して、Synt++ は WER を 18% 低減した。
• キーワード検出において、フィルタリングを行わない合成データの使用と比較して、Synt++ は平均誤検出率を最大18%低下させた。
• アブレーションスタディの結果、拒否サンプリングと二重バッチ正規化の両方がパフォーマンス向上に顕著な貢献をしていることが確認された。
• 本手法は、異なるモデルサイズ（22M および 116M パラメータ）およびデータ設定において一貫した改善を達成した。
• 結果から、Synt++ が分布シフトを効果的に緩和し、不完全な合成データを信頼できる方法で音声認識に活用可能であることが示された。