[論文レビュー] CAT: CRF-based ASR Toolkit

Keyu An, Hongyu Xiang+1 more|arXiv (Cornell University)|Nov 20, 2019

Speech Recognition and Synthesis参考文献 30被引用数 10

ひとこと要約

CATは、CTCにインspiredされた状態トポロジーを用いた判別的学習を活用する、オープンソースでCRFベースのエンドツーエンド自動音声認識ツールキットであり、競合するエンドツーエンドモデルよりも少ないパラメータで中国語（Aishell）および英語（Switchboard）ベンチマークにおいて最先端の性能を達成している。PyTorchを用いた深層ニューラルネットワークの学習を統合しており、i-vector スピーカー適応や遅延制御された単方向推論といった柔軟な拡張もサポートしている。

ABSTRACT

In this paper, we present a new open source toolkit for automatic speech recognition (ASR), named CAT (CRF-based ASR Toolkit). A key feature of CAT is discriminative training in the framework of conditional random field (CRF), particularly with connectionist temporal classification (CTC) inspired state topology. CAT contains a full-fledged implementation of CTC-CRF and provides a complete workflow for CRF-based end-to-end speech recognition. Evaluation results on Chinese and English benchmarks such as Switchboard and Aishell show that CAT obtains the state-of-the-art results among existing end-to-end models with less parameters, and is competitive compared with the hybrid DNN-HMM models. Towards flexibility, we show that i-vector based speaker-adapted recognition and latency control mechanism can be explored easily and effectively in CAT. We hope CAT, especially the CRF-based framework and software, will be of broad interest to the community, and can be further explored and improved.

研究の動機と目的

• ハイブリッドDNN-HMMモデルの精度とエンドツーエンド学習のシンプルさを統合した柔軟でオープンソースのASRツールキットを開発すること。
• CTCにインスパイアされた状態トポロジーを用いた条件付きランダムフィールド（CRF）フレームワーク内で判別的学習を可能にし、逐次モデリングを改善すること。
• 研究者や実務家が最小限のセットアップオーバーヘッドで、CRFベースのエンドツーエンドASRの完全で再現可能なワークフローを提供すること。
• モジュラー設計と効率的な実装により、スピーカー適応や低遅延ストリーミング推論といった実用的デプロイメント要件を満たすこと。
• CRFベースのエンドツーエンドモデルが、主要ベンチマークにおいて標準のエンドツーエンドモデルおよびハイブリッドシステムと同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 判別的CRF学習を用いた包括的なトレーニングパイプラインを実装し、勾配は経験的期待値とモデル期待値の差分として計算される。
• GPU上で高速かつ並列に計算できるように、warp-ctcの修正版を用いて経験的期待値の計算を最適化する。
• CUDA C/C++インターフェースを介してモデル期待値を計算し、効率性を図るためにKaldiの分母前方後方アルゴリズムをインスパイアする。
• 自動微分と動的計算グラフを活用できるように、PyTorchを用いて深層ニューラルネットワークを構築する。
• 双方向および単方向RNNアーキテクチャをサポートし、VGGおよびTDNNブロックを用いてストリーミング環境での遅延制御を可能にする。
• i-vectorに基づくスピーカー適応と言語モデルの再スコアリングを統合し、エンドツーエンド学習を損なわずに耐性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 CRFベースのエンドツーエンドASRシステムは、シンプルでエンドツーエンドのトレーニングパイプラインを維持しながら、主要ベンチマークで最先端の性能を達成できるか？
• RQ2 CTC-CRFトレーニングは、従来のエンドツーエンドモデル（例：CTC、アテンション、RNN-T）と比較して、精度とパラメータ効率の面でどのように異なるか？
• RQ3 CRFベースのモデルが、スピーカー適応や低遅延推論といった実用的ASR要件をどの程度満たせるか？
• RQ4 言語モデルとi-vector適応の統合が、CRFベースのエンドツーエンドフレームワーク内で効果的に実現できるか？
• RQ5 VGGおよびTDNNレイヤーのようなアーキテクチャ的選択が、ストリーミングASRにおける遅延制御された単方向モデルの性能にどのように影響するか？

主な発見

• Aishell中国語ベンチマークでは、CATはモノフォン単位と3-gram言語モデルを用いて、文字誤り率（CER）6.34％を達成し、他のエンドツーエンドモデルおよびKaldi-chainハイブリッドシステム（7.43％）を上回った。
• Switchboardでは、CATのモノフォンシステムがSwitchboardで10.0％、Callhomeで19.2％のWERを達成し、バイフォンEE-LF-MMIシステム（9.8％および19.3％）に非常に近い性能を示し、他のエンドツーエンドモデルを大きく上回った。
• i-vector スピーカー適応を適用した場合、CATのSwitchboardでのWERは9.7％（SW）および18.8％（CH）に低下し、古典的音声認識技術と強い相性を示した。
• RNNLMの再スコアリングを適用した場合、WERは8.8％（SW）および17.4％（CH）にさらに低下し、言語モデル統合がエンドツーエンドの性質を損なわず性能を向上させられることを示した。
• 遅延制御実験の結果、VGGおよびTDNNブロックを備えた単方向モデルは、Switchboard Eval2000で16.4％のWERを達成し、他のオンライン双方向モデルを上回り、オフライン性能に近づいた。
• 双方向から単方向推論に移行する際、パラメータの増加が最小限に抑えられ、ストリーミングアプリケーションにおけるアーキテクチャの効率性が裏付けられた。