[論文レビュー] FunASR: A Fundamental End-to-End Speech Recognition Toolkit

Zhifu Gao, Zerui Li+9 more|arXiv (Cornell University)|May 18, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

FunASR は、学術的研究と産業応用の間を橋渡しするオープンソースのエンドツーエンド音声認識ツールキットであり、特に中国語用に60,000時間の手動トランスクリプション音声でトレーニングされた非自己回帰型モデルである Paraformer を含む、高精度で大規模な事前学習モデルを提供するとともに、最適化された推論パイプライン、VAD、句読点モデルを備えています。AISHELL で 1.95% の CER を達成し、自己回帰型モデルと比較して 12 倍高速な推論を実現しており、CPU や GPU プラットフォームにおける効率的で高精度なデプロイを可能にしています。

ABSTRACT

This paper introduces FunASR, an open-source speech recognition toolkit designed to bridge the gap between academic research and industrial applications. FunASR offers models trained on large-scale industrial corpora and the ability to deploy them in applications. The toolkit's flagship model, Paraformer, is a non-autoregressive end-to-end speech recognition model that has been trained on a manually annotated Mandarin speech recognition dataset that contains 60,000 hours of speech. To improve the performance of Paraformer, we have added timestamp prediction and hotword customization capabilities to the standard Paraformer backbone. In addition, to facilitate model deployment, we have open-sourced a voice activity detection model based on the Feedforward Sequential Memory Network (FSMN-VAD) and a text post-processing punctuation model based on the controllable time-delay Transformer (CT-Transformer), both of which were trained on industrial corpora. These functional modules provide a solid foundation for building high-precision long audio speech recognition services. Compared to other models trained on open datasets, Paraformer demonstrates superior performance.

研究の動機と目的

• エンドツーエンド音声認識分野における学術的研究と産業的応用のギャップを埋めること。
• 産業用コーパスでトレーニングされた高精度で大規模な事前学習モデルを提供すること、特に中国語向けに特化すること。
• AMP 量化や複数のバックエンド（ONNX、TensorRT、libtorch）を活用した最適化された推論バックエンドにより、効率的で現実世界へのデプロイを可能にすること。
• 小規模でドメイン特化されたデータに対する容易なファインチューニングにより、ドメイン適応を可能にすること。
• VAD や句読点復元といった補助モジュールを統合し、完全な ASR パイプラインのデプロイを可能にすること。

提案手法

• コアモデルである Paraformer は、60,000 時間にわたる手動トランスクリプション中国語音声でトレーニングされた非自己回帰型エンドツーエンド ASR モデルである。
• 特定の用語や時系列アラインメントの認識精度を向上させるために、タイムスタンプ予測とホットワードカスタマイズを Paraformer のバックボーンに追加している。
• 産業データでトレーニングされた FSMN-VAD をベースとした音声活動検出（VAD）モデルをオープンソース化し、頑健な音声検出を実現している。
• CT-Transformer を使用したテキスト後処理モデルを提供し、句読点予測と不自然な表現の是正を実現している。
• PyTorch を用いたレシピベースのパイプラインにより、AISHELL、LibriSpeech、Wenetspeech データセットをサポートした、スクラッチ学習とファインチューニングの両方を可能にしている。
• 推論は AMP 量化と複数のバックエンド（ONNX、libtorch、TensorRT）により高速化され、CPU および GPU デプロイが可能になっている。

実験結果

リサーチクエスチョン

• RQ1 大規模な産業用音声データでトレーニングされた非自己回帰型エンドツーエンドモデルは、中国語 ASR ベンチマークで既存モデルを上回る性能を示すか？
• RQ2 小規模でドメイン特化されたデータセットに大規模事前学習モデルをファインチューニングすることで、認識精度とキーワードリコールが向上するか？
• RQ3 VAD や句読点復元といった補助モジュールは、実世界の応用におけるエンドツーエンド ASR システムの頑健性と使いやすさを顕著に向上させるか？
• RQ4 実際のデプロイ環境において、自己回帰型モデルと比較して非自己回帰型モデル（例：Paraformer）はどの程度推論効率が向上するか？
• RQ5 自動混合精度（AMP）量化は、認識精度を損なわずに推論速度をどの程度向上させるか？

主な発見

• Paraformer-large は AISHELL テストセットで 1.95% の CER を達成し、Conformer より優れた性能を示しており、大規模な産業用データでトレーニングされたことの利点が裏付けられている。
• V100 GPU 上で自己回帰型モデルと比較して推論が 12 倍高速化され、INT8 量化下での RTF は 0.1026 から 0.0446 に低下した。
• 物流分野のドメイン特化データ（200 時間）でファインチューニングした結果、CER は 13.1% から 12.6% に低下し、長時間テストセットにおけるドメインキーワードリコールは 74.0% から 96.0% に上昇した。
• CT-Transformer モデルは、句読点と不自然な表現の是正で競争力のある F1 スコア（70.5）を達成し、フル Transformer ベースラインと比較して 1.9 倍高速な推論を実現した。
• AMP 量化により推論時間が 40% 短縮（RTF 0.1026 から 0.0446 に）され、精度の損なわれないまま CPU デプロイが可能になった。
• ONNX、libtorch、TensorRT バックエンドを活用することで、CPU、GPU、モバイルプラットフォームをカバーする高精度・低遅延のデプロイがツールキットによって実現された。