[論文レビュー] MixSpeech: Data Augmentation for Low-resource Automatic Speech Recognition

Linghui Meng, Jin Xu+4 more|arXiv (Cornell University)|Feb 25, 2021

Speech Recognition and Synthesis参考文献 28被引用数 6

ひとこと要約

MixSpeechは、低リソース自動音声認識（ASR）のための新しいデータ拡張手法であり、混合平均を用いて2つの発話から音声特徴（例：メルスペクトログラム）を混合し、共有の損失重みを用いて両方の対応するテキスト転写を同時に学習する。TIMITではSpecAugmentに対して10.6%の相対的改善を達成し、WSJでは4.7%のWERを達成し、ベースラインおよび既存の拡張技術を上回る性能を発揮する。

ABSTRACT

In this paper, we propose MixSpeech, a simple yet effective data augmentation method based on mixup for automatic speech recognition (ASR). MixSpeech trains an ASR model by taking a weighted combination of two different speech features (e.g., mel-spectrograms or MFCC) as the input, and recognizing both text sequences, where the two recognition losses use the same combination weight. We apply MixSpeech on two popular end-to-end speech recognition models including LAS (Listen, Attend and Spell) and Transformer, and conduct experiments on several low-resource datasets including TIMIT, WSJ, and HKUST. Experimental results show that MixSpeech achieves better accuracy than the baseline models without data augmentation, and outperforms a strong data augmentation method SpecAugment on these recognition tasks. Specifically, MixSpeech outperforms SpecAugment with a relative PER improvement of 10.6$\%$ on TIMIT dataset, and achieves a strong WER of 4.7$\%$ on WSJ dataset.

研究の動機と目的

• 低リソース自動音声認識（ASR）におけるラベル付き学習データの制限という課題に対処するため、より効果的なデータ拡張戦略を導入すること。
• SpecAugmentのような既存の拡張手法が直面する課題、すなわち膨大なハイパーパrameterチューニングの必要性と対照的信号の欠如を克服すること。
• 元々分類タスクを想定して開発されたmixup技術を、入力と出力が順序付きで長さが可変な系列生成タスク（例：ASR）に適応すること。
• 訓練中に2つの異なる音声入力を混合することで対照的信号を導入し、モデルの一般化性能を向上させること。
• 最小限のハイパーパrameterで済むシンプルで頑健な拡張手法を開発し、多様な低リソースデータセットにおいて性能を向上させること。

提案手法

• MixSpeechは、ベータ分布に従う混合係数λを用いて、2つの音声特徴（例：メルスペクトログラムやMFCC）を重み付き平均で合成し、混合入力X_mix = λX_i + (1−λ)X_jを形成する。
• モデルは、入力混合に使用した同じλで重み付けされた損失を用いて、両方の元のテキスト転写y_iおよびy_jを同時に認識するように学習される。
• 標準的なmixupとは異なり、MixSpeechはターゲット系列を混合しない。代わりに、両方のラベルを独立して扱い、同じλで損失を組み合わせることでラベルの整合性を保つ。
• 訓練中にミニバッチの一部である割合τのサンプルをランダムに選択して混合し、残りのサンプルは従来通りの方法で学習する。
• このアプローチはLASやTransformerのようなエンドツーエンドASRモデルと互換性があり、CTCと交差エントロピー損失を併用するマルチタスク学習フレームワークともスムーズに統合できる。
• この手法は、SpecAugmentのような手法が要請する複雑なチューニングを回避するため、1つの主要なハイパーパrameterλで評価される。

実験結果

リサーチクエスチョン

• RQ1 系列出力が可変長である自動音声認識（ASR）という系列対系列生成タスクに、mixupに基づくデータ拡張を効果的に適応できるか？
• RQ2 2つの異なる発話を混合することで対照的信号を導入することで、低リソース環境下でのASRの一般化性能が向上するか？
• RQ3 多様な低リソースASRベンチマークにおいて、MixSpeechはSpecAugmentのような既存のデータ拡張手法と比較してどの程度の性能を発揮するか？
• RQ4 バッチごとの混合割合τ（混合サンプルの割合）を変化させた場合、モデルの性能と頑健性にどのような影響を与えるか？
• RQ5 mixupを2つ以上の入力（例：Tri-mixup）に拡張することでさらに性能向上が達成できるか、それとも信号の過剰混合により性能が劣化するか？

主な発見

• TIMITデータセットでは、MixSpeechが19.5%の発音誤り率（PER）を達成し、SpecAugmentの20.5%を10.6%相対的に上回り、ベースラインの21.8%を1.3%絶対的に上回る。
• WSJデータセットでは、MixSpeechが語誤り率（WER）を4.7%まで低下させ、ベースライン（5.9%）とSpecAugment（5.4%）を上回る。
• HKUST中国語マントンデータセットでは、MixSpeechがWER22.9%を達成し、ベースライン（23.9%）とSpecAugment（23.5%）を上回る。
• 混合割合τの変化に対してもMixSpeechの性能は頑健であり、τを15%から30%に増加させてもPERは22.0%未満で維持される。
• 3つの入力に拡張したTri-mixupは、PERが35.8%に著しく悪化し、過剰な信号混合がモデル学習に悪影響を及けることが示された。
• ノイズ正則化は有用ではあるが、MixSpeechはそれを上回り、TIMITでは21.8%のPERを達成した（ノイズ正則化：22.0%）