[論文レビュー] Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge

Guoguo Chen, Xingyu Na+5 more|arXiv (Cornell University)|Nov 9, 2020

Speech Recognition and Synthesis参考文献 21被引用数 11

ひとこと要約

本論文は、SLT 2021 児童音声認識チャレンジの 'Ethiopian' システムを提示する。本システムは、ピッチ、テンポ、速度、ボリューム、リバーブの摂動を含む包括的なデータ拡張技術のセットを提案し、児童の音声学習データの不足に対処する。ESPnetのエンドツーエンドのアテンションベースのエンコーダーデコーダーモデルに基づく本システムは、16.53% CER（2番目のトラックで1位）および18.82% CER（1番目のトラックでチャレンジ後分析）という最先端の結果を達成し、複数のツールキットおよびアーキテクチャにおいて、データ拡張が児童の音声認識の耐障害性と性能を顕著に向上させることを示した。

ABSTRACT

This paper presents the "Ethiopian" system for the SLT 2021 Children Speech Recognition Challenge. Various data processing and augmentation techniques are proposed to tackle children's speech recognition problem, especially the lack of the children's speech recognition training data issue. Detailed experiments are designed and conducted to show the effectiveness of each technique, across different speech recognition toolkits and model architectures. Step by step, we explain how we come up with our final system, which provides the state-of-the-art results in the SLT 2021 Children Speech Recognition Challenge, with 21.66% CER on the Track 1 evaluation set (4th place overall), and 16.53% CER on the Track 2 evaluation set (1st place overall). Post-challenge analysis shows that our system actually achieves 18.82% CER on the Track 1 evaluation set, but we submitted the wrong version to the challenge organizer for Track 1.

研究の動機と目的

• 音声認識システムにおける児童の音声学習データの不足という課題に対処すること。
• 児童の音声における音響的および言語的変動に対するモデルの耐障害性を向上させること。
• 複数の音声認識ツールキット（Kaldi および ESPnet）およびモデルアーキテクチャを横断して、多様なデータ拡張技術の有効性を評価すること。
• SLT 2021 児童音声認識チャレンジで最先端のパフォーマンスを達成すること。
• データ拡張の影響がモデルの汎化性能および誤り低減に与える影響を体系的に分析すること。

提案手法

• 児童の音声学習データの拡張のために、ピッチ摂動、テンポ摂動、速度摂動、ボリューム摂動、リバーブ拡張を適用した。
• 比較評価のために、Kaldi のチェーンモデルと ESPnet のエンドツーエンドのアテンションベースのエンコーダーデコーダーモデルを用いた。
• 多様な話し方や声の特徴を模倣するため、パrameter を変更したデータ拡張（例：速度およびテンポの 0.85–1.15）を実施した。
• 各拡張技術がモデル性能に与える影響を分離するためにアブレーションスタディを実施した。
• 検証損失に基づく上位8つのチェックポイントの平均化を用いて、スクラッチからモデルを訓練した。
• モデル学習の前段階で、訓練セットおよび開発セットに対してテキスト正規化とトークン化を実施した。

実験結果

リサーチクエスチョン

• RQ1 さまざまなデータ拡張技術が児童の音声認識性能を向上させる効果はどの程度か？
• RQ2 データ拡張は、異なる音声認識ツールキット（Kaldi 対 ESPnet）およびモデルアーキテクチャにおいて、モデルの汎化性能を向上させるか？
• RQ3 データ拡張は、児童の音声学習データの不足および音響的変動の影響を緩和できるか？
• RQ4 認識精度を最大化するための最適な拡張パrameterの組み合わせは何か？
• RQ5 拡張された児童の音声データの文脈において、エンドツーエンドモデルの性能は従来のチェーンモデルを上回るか？

主な発見

• 最終的な ESPnet ベースのシステムは、2番目のトラックの評価セットで 16.53% CER を達成し、SLT 2021 チャレンジ全体で1位を獲得した。
• チャレンジ後分析の結果、システムは1番目のトラックの評価セットで 18.82% CER を記録したが、誤った提出バージョンのため、21.66% CER の結果となった。
• データ拡張はモデルの耐障害性を顕著に向上させ、最適な拡張設定下で、検証セットの CER をベースラインの Kaldi の 16.28% から 13.61% まで低下させた。
• エンドツーエンドの ESPnet モデルは Kaldi のチェーンモデルを上回り、同じ拡張条件の下で検証セットで平均 14.95% CER を達成したのに対し、Kaldi は 15.81% CER であった。
• 実験の結果、特に児童の音声（Set C1 および C2）の拡張データを追加することで、顕著な性能向上が得られ、チャレンジ後分析において Exp12 が Exp11 を上回った。
• ボリュームおよびリバーブ摂動は、特に速度およびテンポ摂動と組み合わせた場合、CER の低減に特に効果的であった。