[論文レビュー] Improving Performance of End-to-End ASR on Numeric Sequences

Cal Peyser, Hao Zhang+2 more|arXiv (Cornell University)|Jul 1, 2019

Speech Recognition and Synthesis参考文献 23被引用数 5

ひとこと要約

この論文は、合成TTSデータと軽量なニューラル補正モデルを用いて、 spoken domain での学習とニューラル正規化を組み合わせることで、長大な数値シーケンスにおけるエンドツーエンドASRの性能を向上させ、特に長大な数値シーケンスではWERを最大8倍まで低減した。これは、電話番号、郵便番号、金額などの長大な数値シーケンスのOoV問題を効果的に解消し、オンデバイス環境下でも従来のFSTベースの正規化手法を上回る性能を発揮した。

ABSTRACT

Recognizing written domain numeric utterances (e.g. I need $1.25.) can be challenging for ASR systems, particularly when numeric sequences are not seen during training. This out-of-vocabulary (OOV) issue is addressed in conventional ASR systems by training part of the model on spoken domain utterances (e.g. I need one dollar and twenty five cents.), for which numeric sequences are composed of in-vocabulary numbers, and then using an FST verbalizer to denormalize the result. Unfortunately, conventional ASR models are not suitable for the low memory setting of on-device speech recognition. E2E models such as RNN-T are attractive for on-device ASR, as they fold the AM, PM and LM of a conventional model into one neural network. However, in the on-device setting the large memory footprint of an FST denormer makes spoken domain training more difficult. In this paper, we investigate techniques to improve E2E model performance on numeric data. We find that using a text-to-speech system to generate additional numeric training data, as well as using a small-footprint neural network to perform spoken-to-written domain denorming, yields improvement in several numeric classes. In the case of the longest numeric sequences, we see reduction of WER by up to a factor of 8.

研究の動機と目的

• 電話番号、郵便番号、金額などの長大な数値シーケンスにおけるエンドツーエンドASRのOoV問題に対処すること。
• メモリ制約のあるオンデバイスアプリケーションにおけるルールベースのFST正規化手法の限界を克服すること。
• 低フットプリントでスケーラブルな方法で、合成データとニューラル補正モデルを活用して数値ASRの性能を向上させること。
• 長尾の数値発話におけるスプライスドメイン学習とニューラル正規化の有効性を評価すること。

提案手法

• 書かれたドメインにおける希少で長大な数値シーケンスのカバレッジを向上させるために、音声合成（TTS）システムを用いて合成学習データを生成する。
• 書かれたドメインの正例とRNN-Tの予測結果のペアを用いて、フォーマット誤りや転写誤りを補正するためのニューラル補正モデル（ニューラル正規化器）を学習する。
• 推論時にOoV問題を回避するため、RNN-Tモデルをスプライスドメイン（例：'four fifteen' ではなく '4:15'）で学習する。
• オンデバイスデプロイメントに最適化された低メモリ使用量を実現するため、双方向GRUエンコーダーとアテンションベースのデコーダーを備えた軽量なニューラル正規化器を実装する。
• 書かれたドメインおよびスプライスドメインの両方の学習設定において、ニューラル正規化と従来のFSTベースの正規化を比較する。
• テストセットの音声を生成するために、WaveNetと連結型TTSシステムを別々に用い、TTSスタイルの違いにかかわらず評価の堅牢性を確保する。

Figure 1: Neural Denormer Architecture. T stands for trivial . N stands for non-trivial . S stands for start . C stands for continuation .

実験結果

リサーチクエスチョン

• RQ1 合成TTSで生成された学習データは、希少で長大な数値シーケンスにおけるエンドツーエンドASR性能の向上に寄与するか？
• RQ2 スプライスドメインで学習したRNN-Tモデルは、書かれたドメインで学習した場合と比較して、数値発話におけるOoV問題を緩和できるか？
• RQ3 特に長大な数値シーケンスにおいて、ニューラル正規化器はルールベースのFST正規化手法を上回るWER低減効果を示せるか？
• RQ4 スプライスドメイン学習、合成TTSデータ、ニューラル正規化の組み合わせ効果は、さまざまな数値タイプにおけるASR性能にどのように影響するか？
• RQ5 ニューラル正規化器は、実際の音声および難易度の高い発話形態を含むキュレート済みテストセットでも効果的に機能するか？

主な発見

• スプライスドドメイン学習、合成TTSデータ、ニューラル正規化器の組み合わせにより、キュレート済みテストセットにおける長大な数値シーケンスのWERが最大8倍まで低減した。
• スプライスドドメインで学習しニューラル正規化を適用したS2設定では、大規模な数値に対して83%、小規模な数値に対して75%のWER低減が達成された。
• TTSデータと組み合わせたニューラル補正モデルは、大規模な数値で49%、小規模な数値で75%のWER低減を達成し、書かれたドメイン手法を上回った。
• スプライスドドメイン学習にニューラル正規化を組み合わせることで、FSTベースのシステムが複雑または希少な数値発話に対して頻繁に失敗するようなフォーマット誤りや正規化誤りの大部分が解消された。
• ニューラル正規化器は、実際の音声や一般の数値テストセットにおける性能を劣化させることなく、顕著なWER低減を達成した。これは、その堅牢性を裏付けた。
• 誤差解析の結果、書かれたドメインモデルは、類似発音の単語（例：'180.50' → '180 - $50 in inr'）と数値の一部を誤って識別する傾向にあったが、スプライスドドメインモデルにニューラル正規化を適用することで、このような誤りはほとんど回避された。