[論文レビュー] Intermediate Loss Regularization for CTC-based Speech Recognition

Jaesong Lee, Shinji Watanabe|arXiv (Cornell University)|Feb 5, 2021

Speech Recognition and Synthesis参考文献 39被引用数 7

ひとこと要約

この論文では、CTCベースのASRエンコーダーの中間層にCTC損失を適用する、中間CTC損失という単純な補助学習目的を提案する。計算コストの増加を最小限に抑えつつ、モデルの汎化性能を向上させる。この手法は、自己回帰的デコーダーや外部言語モデルを一切使用せず、グリーディデコードのみを用いても、WSJでは9.9%のWER、AISHELL-1では5.2%のCERを達成し、CTCオンリーモデルとして最先端の性能を実現した。

ABSTRACT

We present a simple and efficient auxiliary loss function for automatic speech recognition (ASR) based on the connectionist temporal classification (CTC) objective. The proposed objective, an intermediate CTC loss, is attached to an intermediate layer in the CTC encoder network. This intermediate CTC loss well regularizes CTC training and improves the performance requiring only small modification of the code and small and no overhead during training and inference, respectively. In addition, we propose to combine this intermediate CTC loss with stochastic depth training, and apply this combination to a recently proposed Conformer network. We evaluate the proposed method on various corpora, reaching word error rate (WER) 9.9% on the WSJ corpus and character error rate (CER) 5.2% on the AISHELL-1 corpus respectively, based on CTC greedy search without a language model. Especially, the AISHELL-1 task is comparable to other state-of-the-art ASR systems based on auto-regressive decoder with beam search.

研究の動機と目的

• 自己回帰的デコーダーや外部言語モデルに依存せずに、接続主義的時系列分類（CTC）に基づく端末間自動音声認識（ASR）モデルの性能を向上させること。
• CTCの限界、例えば強い条件付き独立性仮定やアテンションベースのモデルに比べた場合の性能の劣化を、軽量な正則化技術によって是正すること。
• エンコーダーの深層部における特徴学習を強化しつつ、推論効率を維持する学習目的を設計すること。
• 中間CTC損失と、例えば確率的深さ（stochastic depth）のような他の正則化技術との相乗効果を調査すること。

提案手法

• 最終層ではなく、中間エンコーダー層の出力に対して計算される補助損失関数、すなわち中間CTC損失を導入する。
• 標準的なCTC損失と中間CTC損失の重み付き組み合わせを用いてモデルを学習し、両者の目的を調整するハイパーパrameterを導入する。
• 自己注意と畳み込み層を組み合わせた、モデル容量を向上させたTransformerおよびConformerアーキテクチャの両方に対して中間CTC損失を適用する。
• 中間CTC損失と確率的深さ正則化を組み合わせ、訓練中にランダムに残差ブロックをドロップすることで一般化性能を向上させる。
• 推論時にグリーディデコードを用い、標準的なCTCと比較して追加の計算コストを発生させない。
• WSJ、AISHELL-1、TED-LIUM2など複数のベンチマークで、一貫した訓練およびデコードプロトコルのもとで評価する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーの中間層にCTC損失を適用することで、推論コストを増加させることなく、CTCベースのASRモデルの性能を向上させることができるか？
• RQ2 中間CTC損失は、他の補助学習戦略と比較して、性能向上の度合いと訓練効率の点で優れているか？
• RQ3 中間CTC損失と確率的深さを組み合わせることで、ASRの精度がさらなる向上を遂げられるか？
• RQ4 中間CTC損失は、初期予測にCTCに依存する非自己回帰的ASR手法（例：Mask CTC）の性能を向上させられるか？
• RQ5 CTCオンリーモデルが、ビームサーチや言語モデルを一切使用せずに、どの程度まで最先端の性能に到達できるか？

主な発見

• 中間CTC損失は、TransformerおよびConformerを含む複数のアーキテクチャでASR性能を向上させ、WSJ、AISHELL-1、TED-LIUM2で一貫した向上を示した。
• WSJコーパスでは、CTCとグリーディデコードのみを用いても、語誤り率（WER）が9.9%に達し、以前の非自己回帰的CTCベースの手法を上回り、自己回帰的最先端結果に近づいた。
• AISHELL-1コーパスでは、文字誤り率（CER）が5.2%に達し、Transformerベースのエンコーダーデコーダー・モデルを上回り、自己回帰的最先端結果（5.1%）に非常に近づいた。
• 中間CTC損失と確率的深さの組み合わせが最良の性能を示し、相補的な正則化効果が確認された。
• 中間CTC損失は、非自己回帰的ASRであるMask CTCベースのモデルの性能向上にも寄与し、WSJでのWERを13.5%から11.6%に低下させた。これは、広範な適用可能性を示している。
• アブレーションスタディの結果、デフォルトの中间層選択（例：ネットワークの中間部）が最良の性能を示し、ランダムまたは低層部の選択よりも優れていた。