[論文レビュー] Espresso: A Fast End-to-end Neural Speech Recognition Toolkit

Yiming Wang, Tongfei Chen+8 more|arXiv (Cornell University)|Sep 18, 2019

Speech Recognition and Synthesis参考文献 60被引用数 14

ひとこと要約

Espressoは、PyTorchおよびfairseqに基づいて構築された、高速でモジュラーかつ拡張性のあるエンドツーエンドの神経音声認識（ASR）ツールキットであり、前方参照付きの単語ベース言語モデル統合を実装した完全並列化されたデコーダーを備えている。データ拡張なしでWSJ、LibriSpeech、Switchboardで最先端のASR性能を達成しており、ESPnetのような同等のシステムと比較して3〜11倍速いデコーディングを実現している。

ABSTRACT

We present Espresso, an open-source, modular, extensible end-to-end neural automatic speech recognition (ASR) toolkit based on the deep learning library PyTorch and the popular neural machine translation toolkit fairseq. Espresso supports distributed training across GPUs and computing nodes, and features various decoding approaches commonly employed in ASR, including look-ahead word-based language model fusion, for which a fast, parallelized decoder is implemented. Espresso achieves state-of-the-art ASR performance on the WSJ, LibriSpeech, and Switchboard data sets among other end-to-end systems without data augmentation, and is 4--11x faster for decoding than similar systems (e.g. ESPnet).

研究の動機と目的

• ESPnetのような混合ディープラーニングフレームワークに依存するシステムにおいて特に顕著な、既存のエンドツーエンドASRツールキットの拡張性の低さやデコーディングの遅さといった課題に対処すること。
• PyTorchおよびfairseqの分散学習と最適化されたインフェレンス機能を活用して、エンドツーエンドASRにおける高速でスケーラブルな学習とインフェレンスを可能にすること。
• 前方参照付き言語モデル統合を実装した完全並列化デコーダーを導入し、精度を損なわずにデコーディングを高速化すること。
• データ拡張なしで標準ベンチマーク（WSJ、LibriSpeech、Switchboard）において最先端のASR性能を達成することで、提案されたアーキテクチャおよび学習技術の有効性を示すこと。
• fairseqとのインfraストラクチャ共有を通じて、将来的な音声認識と自然言語処理の統合を促進し、音声-to-テキストおよびテキスト-to-音声システムにおける統合的で効率的な研究を可能にすること。

提案手法

• fairseqおよびPyTorchを基盤とすることで、モularity、拡張性、およびGPUおよびノード間の分散学習をサポートする。
• 入力データにはKaldi風のSCPフォーマットを採用し、音声特徴のシャーディング読み込みによりI/Oとメモリ使用量のバランスを取る。
• 前方参照付き言語モデル統合のための並列化デコーダーを実装し、バッチ内のすべての仮説に対して同時にLMスコアを計算することで、逐次計算を回避する。
• デコーディング中の削除誤りおよび挿入誤りを低減するための改善されたカバレッジメカニズムを導入し、標準的なEOSしきい値法を上回る性能を発揮する。
• サブワードトークン化（SentencePiece）と交差エントロピー損失を用いたジョイント学習をサポートし、CTCやハイブリッド学習に依存しない。
• beam検索およびバケット化バッチ処理を含む、fairseqの既存のインフェレンスおよび学習パイプラインとのシームレスな相互運用性を実現する。

Fig. 1 : The efficient look-ahead LM algorithm. The dark gray and light gray subtrees correspond to the probability mass spanned by prefix $p\mathtt{c}$ and $p$ (numerator and denominator in Eq. ( 1 )) respectively. These can be efficiently computed via Eq. ( 4 ) using cumsum .

実験結果

リサーチクエスチョン

• RQ1 モジュラーでPyTorchベースのASRツールキットは、ESPnetのような既存のエンドツーエンドシステムと比較して、精度を維持または向上させながらも、より高速なデコーディングを達成できるか？
• RQ2 前方参照付き言語モデル統合の完全並列化実装は、逐次的アプローチと比較して、デコーディング遅延を顕著に短縮できるか？
• RQ3 改善されたカバレッジメカニズムは、標準的なEOSしきい値法と比較して、エンドツーエンドASRにおける語誤り率（WER）をより効果的に低減できるか？
• RQ4 fairseqに基づく統合的ツールキットは、音声-to-テキストおよびテキスト-to-音声システムにおける研究の高速化と保守性向上にどの程度貢献できるか？
• RQ5 より優れたモデルアーキテクチャおよびデコーディング技術を活用することで、データ拡張なしに最先端のASR性能を達成できるか？

主な発見

• Espressoは、データ拡張なしでWSJ、LibriSpeech、Switchboardで最先端のWERを達成しており、LibriSpeech dev-cleanでは3.3%、dev-otherでは改善されたカバレッジを用いて2.9%のWERを記録した。
• WSJデータセットにおいて、言語モデル学習では17.9%、ASRモデル学習では16.0%高速に処理された。
• 言語モデル統合なしではESPnetと比較して3.7倍速く、前方参照付き言語モデル統合では10倍以上速く、並列化されたLMスコア計算のおかげである。
• 改善されたカバレッジメカニズムは、EOSしきい値法よりも削除誤りをより効果的に低減し、LibriSpeechおよびWSJでのWER低減に寄与した。
• Switchboardでは、サブワードLMを用いた場合に9.2%、用いない場合に10.7%のWERを達成し、SpecAugmentを用いない既存のエンドツーエンドモデルを上回った。
• ツールキットはfairseqとのシームレスな統合をサポートしており、将来的な音声翻訳およびテキスト-to-音声研究における共有インfraストラクチャの活用を可能にした。