[論文レビュー] Semi-Supervised Model Training for Unbounded Conversational Speech Recognition

Shane Walker, Morten W. Pedersen+2 more|arXiv (Cornell University)|May 26, 2017

Speech Recognition and Synthesis参考文献 22被引用数 13

ひとこと要約

本論文では、大規模なラベルなし電話音声データセットを活用して、信頼度ベースのフィルタリングとNLPヒューリスティクスを用いて発話文を補正・再訓練することで、高品質な会話型音声認識コーパスを構築する半教師あり反復的フレームワークを提案する。この手法は、エージェント発話において35%の相対的WER削減と、IBM Watson STTよりも5%の絶対的WER改善を達成し、無制限の会話型ASRにおいて顕著な向上を示している。

ABSTRACT

For conversational large-vocabulary continuous speech recognition (LVCSR) tasks, up to about two thousand hours of audio is commonly used to train state of the art models. Collection of labeled conversational audio however, is prohibitively expensive, laborious and error-prone. Furthermore, academic corpora like Fisher English (2004) or Switchboard (1992) are inadequate to train models with sufficient accuracy in the unbounded space of conversational speech. These corpora are also timeworn due to dated acoustic telephony features and the rapid advancement of colloquial vocabulary and idiomatic speech over the last decades. Utilizing the colossal scale of our unlabeled telephony dataset, we propose a technique to construct a modern, high quality conversational speech training corpus on the order of hundreds of millions of utterances (or tens of thousands of hours) for both acoustic and language model training. We describe the data collection, selection and training, evaluating the results of our updated speech recognition system on a test corpus of 7K manually transcribed utterances. We show relative word error rate (WER) reductions of {35%, 19%} on {agent, caller} utterances over our seed model and 5% absolute WER improvements over IBM Watson STT on this conversational speech task.

研究の動機と目的

• 大ボキャブラリー連続音声認識（LVCSR）のための手動でトランスクリプト化された会話型音声データの不足と高コスト問題に対処すること。
• スイッチボーダーとファイザーといった古くなったコーパスの限界を克服すること。これらは、古くなった音声特徴と語彙のため、現代の会話型音声とはもはや代表的でない。
• 半教師あり学習を用いて、スケーラブルで自動化されたパイプラインを構築し、高品質で大規模な会話型音声コーパスを構築すること。
• 発話文のトランスクリプトを反復的に精錬し、音声認識モデルと言語モデルを再訓練することで、無制限で即興的な発話におけるASRパフォーマンスを向上させること。
• 大規模なデータ収集を通じて、多様な話者属性、アクセント、ノイズ条件、進化する口語的言語への一般化を可能にすること。

提案手法

• シードASRモデルを用いて、大規模なラベルなし電話音声データセットをデコードし、最小ベイズリスク（MBR）信頼度推定のためのラティスを生成する。
• 最も短いセグメントで、MBR信頼度が最も低く、言語モデルのパープレクサリティが最小のもののみを選別することで、トランスクリプトされた発話をフィルタリングする。
• フィルタリングされたデータにおける一般的で特徴的なトランスクリプトエラーを特定・修正するためのNLPヒューリスティクスを適用し、修正用テキスト変換を生成する。
• 修正済みで後処理済みのテキストから、再訓練によりアラインメント品質とモデルパフォーマンスを向上させるために、音声認識モデルを再びから再訓練する。
• 各イテレーションで、修正済みの固有トランスクリプトを正解訓練セットに追加することで、言語モデルを更新し、次のフィルタリング段階でのパープレクサリティスコアリングを改善する。
• AWSクラウドインfraストラクチャ（S3によるストレージ、SQSによるメッセージキューイング、GPU搭載P2インスタンスによる効率的な再訓練）を活用してパイプラインをスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 高価な手動トランスクリプトに依存せずに、半教師あり反復的アプローチが会話型音声認識におけるWERを顕著に低減できるか？
• RQ2 信頼度ベースのフィルタリングとNLPヒューリスティクスの組み合わせが、スケール上でトランスクリプト品質を向上させるのにどの程度効果的か？
• RQ3 大規模に自動的に構築されたコーパスが、スイッチボーダーやファイザーのような従来の手動で整備されたコーパスを、現代の会話型ASRタスクでどの程度上回れるか？
• RQ4 音声認識モデルと言語モデルの反復的精錬が、多様な音声状況下での全体的なシステムパフォーマンスと一般化性能にどのように影響を与えるか？
• RQ5 このようなパイプラインをクラウドベースの分散コンピューティングプラットフォームに展開する際のスケーラビリティとコスト効率はどの程度か？

主な発見

• 提案手法は、シードモデルと比較して、エージェント発話において35%の相対的語誤り率（WER）削減を達成した。
• コールャー発話においても19%の相対的WER削減が観察され、異なる話者役割においても有効性が裏付けられた。
• 同じ会話型音声テストセットにおいて、IBM Watson STTよりも5%の絶対的WER改善を達成した。
• 最終的なコーパスは1,100万件以上の発話を含み、5,000時間を超える会話型音声をカバーしており、多様な話者属性、アクセント、ノイズ条件を含んでいる。
• AWSベースの分散コンピューティングを活用することで、100台のスポットインスタンスを用いて3,000万件の発話を20時間で再デコード可能となった。
• 反復的精錬プロセスにより改善効果が蓄積され、各再訓練サイクルごとにより正確なデコーダーとクリアな訓練データが得られた。