[論文レビュー] Direct Acoustics-to-Word Models for English Conversational Speech Recognition

Kartik Audhkhasi, Bhuvana Ramabhadran+3 more|arXiv (Cornell University)|Mar 22, 2017

Speech Recognition and Synthesis参考文献 22被引用数 22

ひとこと要約

本論文は、SwitchboardおよびCallHomeベンチマークにおいて、言語モデルやデコーダーを用いずに、13.0%/18.8% WERを達成する、英語会話音声認識のための最初の直接音声から単語へのCTCモデルを提示している。音声CTC初期化とGloVe埋め込みを導入することで学習を改善し、70%の発話で音声CTC性能に匹敵する単語CTCモデルの性能を達成するとともに、より高速な推論を可能にした。

ABSTRACT

Recent work on end-to-end automatic speech recognition (ASR) has shown that the connectionist temporal classification (CTC) loss can be used to convert acoustics to phone or character sequences. Such systems are used with a dictionary and separately-trained Language Model (LM) to produce word sequences. However, they are not truly end-to-end in the sense of mapping acoustics directly to words without an intermediate phone representation. In this paper, we present the first results employing direct acoustics-to-word CTC models on two well-known public benchmark tasks: Switchboard and CallHome. These models do not require an LM or even a decoder at run-time and hence recognize speech with minimal complexity. However, due to the large number of word output units, CTC word models require orders of magnitude more data to train reliably compared to traditional systems. We present some techniques to mitigate this issue. Our CTC word model achieves a word error rate of 13.0%/18.8% on the Hub5-2000 Switchboard/CallHome test sets without any LM or decoder compared with 9.6%/16.0% for phone-based CTC with a 4-gram LM. We also present rescoring results on CTC word model lattices to quantify the performance benefits of a LM, and contrast the performance of word and phone CTC models.

研究の動機と目的

• SwitchboardやCallHomeのような標準的な公開ベンチマークにおいて、直接音声から単語へのCTCモデルの評価を行う。
• 大規模データや外部言語モデルがなくても、単語CTCモデルが良好に動作するかを調査する。
• 単語CTCと従来の音声ベースCTCシステムの間のデータおよび学習複雑性のギャップを縮小する。
• 単語CTCと音声CTCモデルの誤りタイプとデコーディング効率を比較する。
• 限られたデータ環境下での単語CTC学習収束と性能向上に寄与する技術を検討する。

提案手法

• 音声特徴を直接単語系列にマップするエンドツーエンドCTCモデルを訓練し、中間の音声や文字を経由しない。
• 事前学習済み音声CTC BLSTMモデルと階層的CTCを用いて、単語CTCモデルの初期化を行い、最適化を改善する。
• 最終全結合層にGloVe単語埋め込みを組み込み、単語の共起統計を注入し、一般化を支援する。
• 4-gram言語モデルを用いたラティス再スコアリングにより、言語モデル統合が単語CTC出力に与える影響を評価する。
• 各フレームごとに上位k個の仮説を抽出するためのコンSENSUSラティス構築法を採用する。
• 単語の対数事前確率正規化を伴う音声対数尤度スコアを適用し、ラティス品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 直接音声から単語へのCTCモデルは、言語モデルやデコーダーを一切用いずに、標準的なSwitchboardおよびCallHomeベンチマークで競争的な性能を達成できるか？
• RQ2 訓練データが増加するに従って単語CTCモデルはどのようにスケーリングし、WERとOOV率にどのような影響を与えるか？
• RQ3 音声CTC初期化やGloVe埋め込みといった技術が、単語CTC学習の収束と正確性にどの程度寄与するか？
• RQ4 単語CTCと音声CTCモデルの誤りタイプ（置換、削除、挿入）にどのような差があるか？
• RQ5 言語モデルを用いたラティス再スコアリングによって、単語CTCと音声CTCシステムの性能ギャップを埋められるか？

主な発見

• 単語CTCモデルは、言語モデルやデコーダーを一切使用せず、Hub5-2000 Switchboardで13.0%、CallHomeで18.8%のWERを達成した。
• 単語CTC（13.0%/18.8%）と4-gram言語モデルを用いた音声CTC（9.6%/16.0%）の性能ギャップは、それぞれ3.4および2.8パーセンテージポイントであった。
• 大規模言語モデルを用いたラティス再スコアリングにより、Switchboardでは0.5、CallHomeでは0.8の絶対的ポイントのWER低減が達成された。
• 単語CTCラティスのオアクルWERは、Switchboardで6.8%、CallHomeで11.4%であり、さらなる改善の余地があることが示された。
• Switchboardの72.1%、CallHomeの74.9%のテスト発話において、単語CTCシステムは音声CTCシステムと同等またはより少ない誤りを出した。
• 訓練データを300時間から2000時間に増加させた際、単語CTCモデルは7.8%/11.6%の相対的WER改善を示したが、音声CTCモデルは4.3%/8.7%にとどまり、より良いデータ活用とOOV率の低減のおかげである。