[論文レビュー] Are E2E ASR models ready for an industrial usage?

Valentin Vielzeuf, Grigory Antipov|arXiv (Cornell University)|Dec 9, 2021

Speech Recognition and Synthesis被引用数 7

ひとこと要約

この論文は、複数の実世界の音声ドメインにおいて、エンドツーエンド（E2E）ASRモデルをハイブリッドベースラインと比較して評価し、現代のE2Eモデル—特にCitrinetバージョン—が、正確性（低いWER）および計算効率（高速なトレーニングおよび推論）の両面でハイブリッドシステムを上回ることを示している。入力のセグメンテーションにほとんど感受性を示さないことも明らかになった。研究は、一般化性能と高い計算コストが、E2E ASRの産業的導入における主な障壁ではもうないことを結論づけている。

ABSTRACT

The Automated Speech Recognition (ASR) community experiences a major turning point with the rise of the fully-neural (End-to-End, E2E) approaches. At the same time, the conventional hybrid model remains the standard choice for the practical usage of ASR. According to previous studies, the adoption of E2E ASR in real-world applications was hindered by two main limitations: their ability to generalize on unseen domains and their high operational cost. In this paper, we investigate both above-mentioned drawbacks by performing a comprehensive multi-domain benchmark of several contemporary E2E models and a hybrid baseline. Our experiments demonstrate that E2E models are viable alternatives for the hybrid approach, and even outperform the baseline both in accuracy and in operational efficiency. As a result, our study shows that the generalization and complexity issues are no longer the major obstacle for industrial integration, and draws the community's attention to other potential limitations of the E2E approaches in some specific use-cases.

研究の動機と目的

• エンドツーエンド（E2E）ASRモデルが、ドメイン間での一般化性能の低さと高い計算コストという2つの主な産業的障壁を克服できるかどうかを評価すること。
• 実世界の音声データを用いた複数ドメイン設定において、最新のE2Eモデル（Conformer、Citrinet、CRDNN）とハイブリッドベースラインをベンチマークすること。
• 現実的で産業的関連性の高い文脈において、モデルの正確性（語誤り率: WER）と運用効率（トレーニング時間、推論速度、メモリ使用量）の両方を評価すること。
• 音声活動検出（VAD）の影響を調査し、セグメンテーションありとなしの両方で性能を比較すること。
• E2Eモデルが複雑な言語モデルを必要とするのか、それともグリーディデコードで十分な堅牢性を発揮できるのかを特定すること。

提案手法

• Franglish、LibriSpeech-clean、LibriSpeech-other、SwitchBoard、TED-LIUM、WSJの6つの多様なデータセットを用いた包括的な複数ドメインベンチマークを実施。
• 同じ条件下で、複数のE2Eアーキテクチャ（小規模および中規模のConformer、Citrinet、CRDNN）と標準的なハイブリッドASRモデルをトレーニングおよび評価。
• 語誤り率（WER）を、グリーディデコードとn-gram言語モデル（3-gram）デコードの両方で測定。
• CPUおよびGPU上の逆Real-Time Factor（iRTF）を用いて計算コストを報告し、トレーニング時間とパラメータ数を追跡。
• VADの影響を評価するためのアブレーションスタディを実施。生の未セグメンテーション音声、正解のセグメンテーション、および3つのオフザシェルVADシステム（SpeechBrain、Nemo、Silero）を比較。
• CTC損失を用いた最新のE2Eアーキテクチャ（Conformer：自己注意＋畳み込み層、Citrinet：軽量畳み込みモデル、CRDNN：再帰構造）を用いた。

実験結果

リサーチクエスチョン

• RQ1 現代のE2E ASRモデルは、標準的なベンチマーク外の多様で実世界の音声ドメインにおいても十分に一般化できるのか、それともハイブリッドモデルに比べて依然として性能が劣るのか？
• RQ2 複数ドメイン評価設定において、E2Eモデルは現在の産業標準（ハイブリッドASR）を上回る正確性と低い計算コストを達成できるのか？
• RQ3 言語モデルの導入がE2Eモデルの性能に与える影響は何か？また、堅牢な認識を達成するために必要なのか？
• RQ4 E2Eモデルは高品質な音声セグメンテーション（VAD）にどれほど依存しているのか？また、生の未セグメンテーション音声を効果的に処理できるのか？
• RQ5 どのE2Eアーキテクチャが産業的導入に最適な正確性、推論速度、メモリ使用量のトレードオフを実現するのか？

主な発見

• Citrinet-smallモデルは、グリーディデコードを用いて全6ドメインで全体のWERが14.9%を達成し、ハイブリッドベースライン（20.0% WER）を上回り、より大きなモデルと同等またはそれを上回った。
• CRDNNを除くすべてのE2Eモデルが、ハイブリッドモデルと比較して顕著にトレーニング時間を短縮した。Citrinet-smallは4枚の2080 Ti GPUで7日間でトレーニング完了。
• Citrinet-smallは1時間分の音声を1秒未塔で処理（GPU上でのiRTF ≈ 0.8）し、推論効率がConformerやCRDNNを大きく上回った。
• Conformer（小規模）はグリーディデコードで全体のWERが14.3%、3-gram LMを用いることで12.6%まで低下し、強力な性能を示したが、Citrinetに比べて計算コストが高かった。
• E2Eモデルは入力のVAD品質にほとんど感受性を示さなかった。正解のセグメンテーションを使用しても、セグメンテーションなしでもWERは±0.2 WERポイント以内でほぼ変化しなかった。
• CRDNNモデルは1億2000万パラメータを有し、高い計算コストであったが、全体のWERはグリーディデコードで15.1%、LMを用いることで13.2%にとどまり、より小さなE2Eモデルに劣った。