[論文レビュー] Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation

Thai‐Son Nguyen, Sebastian Stueker+2 more|arXiv (Cornell University)|Oct 29, 2019

Speech Recognition and Synthesis被引用数 5

ひとこと要約

この論文では、時間領域での周波数ドメインにおける時間伸縮、SpecAugment、および部分シーケンス抽出という、実時間でのデータ拡張技術を提案し、sequence-to-sequence (S2S) 話声認識モデルの性能を向上させている。これらの手法を訓練中に適用することで、外部言語モデルを用いずとも、LSTMベースおよび自己注意機構S2Sアーキテクチャの両方で過学習を顕著に軽減し、Switchboardで5.2%、Callhomeで10.2%という最先端のWERを達成した。

ABSTRACT

Sequence-to-Sequence (S2S) models recently started to show state-of-the-art performance for automatic speech recognition (ASR). With these large and deep models overfitting remains the largest problem, outweighing performance improvements that can be obtained from better architectures. One solution to the overfitting problem is increasing the amount of available training data and the variety exhibited by the training data with the help of data augmentation. In this paper we examine the influence of three data augmentation methods on the performance of two S2S model architectures. One of the data augmentation method comes from literature, while two other methods are our own development - a time perturbation in the frequency domain and sub-sequence sampling. Our experiments on Switchboard and Fisher data show state-of-the-art performance for S2S models that are trained solely on the speech training data and do not use additional text data.

研究の動機と目的

• 大規模なsequence-to-sequence (S2S) 話声認識モデルにおける過学習を是正すること。これは、アーキテクチャの進歩にもかかわらず、依然として性能の主な障壁となっている。
• 実時間でのデータ拡張技術が、標準的なASRベンチマークにおけるS2Sモデルの汎化性能および耐障害性を向上させる有効性を調査すること。
• 時間伸縮、SpecAugment、および部分シーケンス抽出といった、異なる拡張戦略がLSTMベースおよび自己注意機構S2Sアーキテクチャに与える影響を比較すること。
• 外部テキストデータや言語モデルを一切使用せずに、話声学習データのみを用いてSwitchboardおよびCallhomeデータセットで最先端の性能を達成すること。

提案手法

• 時間伸縮は、特徴列をウィンドウに分割し、一様分布からランダムに選ばれた伸縮係数を用いて最近傍補間で各ウィンドウを再サンプリングすることで、log-melスペクトログラム特徴に対して実行される。
• SpecAugmentは周波数マスキング（連続するf個の周波数チャンネルをランダムにマスキング）および時間マスキング（連続するt個の時間ステップをマスキング）により実装され、1発話あたりT回適用され、Tはモデルアーキテクチャに合わせて最適化される。
• 部分シーケンス抽出は、完全な正解トランスクリプションからランダムに部分シーケンスを抽出することで、出力の部分的または可変長に対応できるようにデコーダーを学習させる。
• すべての拡張手法は訓練中に実時間で適用され、計算効率が良く、モデルと同時に最適化可能である。
• LSTMベースのモデルではドロップアウトと確率的深さ正則化が使用され、自己注意機構モデルではドロップアウトと確率的レイヤー正則化が適用され、過学習のさらなる軽減が図られている。
• Switchboard (SWB) および Fisher データセットを用いた実験が実施され、拡張法の組み合わせとハイパーパramータチューニング（例：T、ウィンドウサイズ）に関するアブレーションスタディが行われた。

実験結果

リサーチクエスチョン

• RQ1 実時間でのデータ拡張技術は、sequence-to-sequence 話声認識モデルの汎化性能および耐障害性にどのように影響を与えるか？
• RQ2 時間伸縮、SpecAugment、および部分シーケンス抽出の各技術がS2SモデルのWER低減に果たす相対的寄与度は何か？
• RQ3 LSTMベースおよび自己注意機構S2Sアーキテクチャは、さまざまなデータ拡張戦略に対してどのように感度を示すか？
• RQ4 有効なデータ拡張のみで、外部言語モデルやテキストデータを一切使用せずに、最先端の性能を達成できるか？
• RQ5 ハイパーパramータ設定（例：マスキング適用回数T）は、異なるモデルアーキテクチャにおいて最適な性能をもたらすか？

主な発見

• 時間伸縮とSpecAugmentの組み合わせにより、LSTMベースのモデルではSwitchboard（Hub5’00）でWERが13.5%に低下し、自己注意機構モデルでは13.4%に低下した。個別に適用した場合より優れた性能を示した。
• 部分シーケンス抽出を時間伸縮とSpecAugmentと組み合わせることで、自己注意機構モデルのWERはSwitchboardで13.0%に改善されたが、LSTMベースのモデルでは性能が低下した。これは、両アーキテクチャの過学習行動に差があることを示唆している。
• 固定された部分シーケンスセットを使用した場合、LSTMベースのモデルのWERは13.0%に改善され、自己注意機構モデルに対しても競争力ある性能が維持された。これは、固定された部分シーケンスが再帰的アーキテクチャに対してより安定していることを示している。
• 2,000時間分のSwitchboard+Fisher訓練データセットを全量使用した場合、LSTMベースと自己注意機構モデルのアンサンブルにより、Switchboardで5.2%、Callhomeで10.2%というWERを達成し、外部言語モデルを一切使用せずとも、先行研究の最先端性能を同等または上回った。
• 自己注意機構モデルはLSTMモデルよりも多くの訓練更新ステップ（250k vs 100k）を要したが、これは同じ拡張戦略下でも最適化ダイナミクスの違いを示している。
• 最適な設定では、LSTMモデルに対してT=2、自己注意機構モデルに対してT=1が使用され、最高の性能を得るためにはウィンドウサイズwを無限大（全シーケンス）に設定した。