[論文レビュー] IMS-Speech: A Speech to Text Tool

Pavel Denisov, Ngoc Thang Vu|arXiv (Cornell University)|Aug 13, 2019

Speech Recognition and Synthesis参考文献 28被引用数 9

ひとこと要約

IMS-Speech は、英語およびドイツ語を対象とした無料のウェブベースの音声認識ツールであり、非技術的分野の研究者が最先端の自動音声認識（ASR）を用いて音声記録をトランスクリプト化できるようにする。これは、音声活動検出（SAD）システムと、アテンションとCTC損失を組み合わせたハイブリッドエンドツーエンドASRモデルを統合しており、多様なデータセットで競争力ある語誤り率（WER）を達成しており、一部のベンチマークでは専用システムを上回っている。

ABSTRACT

We present the IMS-Speech, a web based tool for German and English speech transcription aiming to facilitate research in various disciplines which require accesses to lexical information in spoken language materials. This tool is based on modern open source software stack, advanced speech recognition methods and public data resources and is freely available for academic researchers. The utilized models are built to be generic in order to provide transcriptions of competitive accuracy on a diverse set of tasks and conditions.

研究の動機と目的

• 人文学および社会科学分野の非技術的研究者に、話し言葉のデータを容易に利用できるトランスクリプトを提供すること。
• 多様な音声環境やタスクに適応する汎用的で高精度なASRシステムを開発すること。
• ユーザーフレンドリーなウェブインターフェースを提供することで、音声認識やシステム設定の専門知識がなくてもトランスクリプト作成の技術的障壁を低減すること。
• 音声認識やシステム設定の知識がなくても、研究者が音声記録をトランスクリプト化できるようにすること。
• 将来的なドメイン特化アプリケーション向けのカスタマイズを可能にするために、システムをカスタマイズ可能にすること。

提案手法

• 長時間の文脈を捉えるために統計プーリングを用いたTDNNベースの音声活動検出（SAD）システムを用いて、音声のセグメンテーションを実行する。
• SADシステムは、GMMベースの音声モデルの強制アラインメント出力と非制約デコード出力の重み付き組み合わせを用いて学習される。
• エンドツーエンドASRは、アテンションベースのエンコーダデコーダアーキテクチャを用い、交差エントロピーとコネクティスト・テンポラル分類（CTC）のハイブリッド損失を組み合わせたものである。
• アテンション機構を用いて、入力音声特徴と出力語系列の間の柔軟なアラインメントを実現する。
• 推論段階では、CTCとアテンション確率を重み付き対数和則を用いて統合して最終的なトランスクリプトを取得する。
• CPUおよびGPUでのバッチ推論を用いることで、語誤り率（WER）に影響を与えずに処理速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 汎用的でウェブベースのASRツールは、多様な音声ドメインや録音環境において、競争力あるトランスクリプト精度を達成できるか？
• RQ2 汎用ASRシステムの性能は、ベンチマークデータセット上でタスク特化型システムと比べてどうか？
• RQ3 CTC-アテンションハイブリッド損失は、アテンション単体を使用する場合と比較して、ASR性能をどの程度向上させるか？
• RQ4 IMS-Speechシステムは、Google Cloud Speech-to-Textなどの商用APIと比較して、トランスクリプト精度において優れているか？
• RQ5 使いやすいオープンソースのウェブインターフェースは、非技術的分野の研究者が音声トランスクリプトを活用する際の入り口を効果的に下げるのか？

主な発見

• WSJ eval'92 では WER 3.8%、LibriSpeech test-clean では WER 4.4% を達成しており、一部のベンチマークで最先端の結果を上回っている。
• LibriSpeech test-other では WER 12.7% を達成しており、文献に報告された最良システムの 7.6% よりも優れている。
• ドイツ語では、Tuda-De dev で WER 11.1%、Tuda-De test で WER 12.0% を達成しており、先行研究で報告された 13.1% および 14.4% を上回っている。
• Verbmobil 1 test では WER 7.3% を達成しており、先行研究で報告された 12.7% よりも優れている。
• すべてのテストデータセットで Google Cloud Speech-to-Text を大きく上回っており、LibriSpeech test-clean では WER 4.3%（Google 15.9%）、Tuda-De test では WER 10.0%（Google 12.4%）を記録している。
• GPU 上でのバッチ推論により、リアルタイム要因が 14.2（単一CPU）から 0.3 に低下し、WER に影響を与えずに処理速度が向上した。