[論文レビュー] Improving Readability for Automatic Speech Recognition Transcription

Junwei Liao, Şefik Emre Eskimez+6 more|arXiv (Cornell University)|Apr 9, 2020

Natural Language Processing Techniques参考文献 54被引用数 19

ひとこと要約

本稿では、微細調整された事前学習モデルを用いてノイズが多く、不順序なASRトランスクリプトを滑らかで文法的に正しい、人間が読みやすいテキストに変換する、新しいNLPタスクであるASR後処理による可読性向上（APR）を紹介する。GECデータセットをTTSとASRを用いて合成することで110万件のAPR学習サンプルを生成したが、その結果、RoBERTaベースのモデルが従来のパイプラインを著しく上回り、特に滑らかさと可読性に配慮した指標において優れた性能を示した。

ABSTRACT

Modern Automatic Speech Recognition (ASR) systems can achieve high performance in terms of recognition accuracy. However, a perfectly accurate transcript still can be challenging to read due to grammatical errors, disfluency, and other errata common in spoken communication. Many downstream tasks and human readers rely on the output of the ASR system; therefore, errors introduced by the speaker and ASR system alike will be propagated to the next task in the pipeline. In this work, we propose a novel NLP task called ASR post-processing for readability (APR) that aims to transform the noisy ASR output into a readable text for humans and downstream tasks while maintaining the semantic meaning of the speaker. In addition, we describe a method to address the lack of task-specific data by synthesizing examples for the APR task using the datasets collected for Grammatical Error Correction (GEC) followed by text-to-speech (TTS) and ASR. Furthermore, we propose metrics borrowed from similar tasks to evaluate performance on the APR task. We compare fine-tuned models based on several open-sourced and adapted pre-trained models with the traditional pipeline method. Our results suggest that finetuned models improve the performance on the APR task significantly, hinting at the potential benefits of using APR systems. We hope that the read, understand, and rewrite approach of our work can serve as a basis that many NLP tasks and human readers can benefit from.

研究の動機と目的

• 高精度な認識を達成しても依然として理解しにくいASRトランスクリプトの可読性の欠如というギャップを解消すること。
• 一括処理で誤りを是正するとともに滑らかさを向上させる、新しいNLPタスク「ASR後処理による可読性向上（APR）」を提案すること。
• タスク固有のデータが不足している課題を、GECデータセット、TTS、ASRパイプラインを用いた合成により現実的なAPR学習例を生成することで克服すること。
• 可読性に配慮したWER、BLEU、M2、GLEUを含む複合指標を用いてAPRの性能を評価し、人間の可読性をよりよく反映するようにすること。

提案手法

• GECデータセットに含まれる文法的に誤った文をTTSシステムを用いて音声に変換し、その音声をASRシステムで再変換することで、ノイズあり入力–正しく出力のペairを生成する。これにより110万件のAPR学習サンプルを合成した。
• エンドツーエンドの可読性向上を実現するため、合成APRデータセット上で4つの最先端のシーケンス・ツー・シーケンスモデル（MASS、UniLM、RoBERTa、RoBERTa-UniLM）を微細調整した。
• APR生成タスクに適した形で、RoBERTaを生成タスクに適合させるために、変更されたUniLM風の事前学習目的を採用し、RoBERTa-UniLMを構築した。
• 可読性に配慮した指標を組み合わせたハイブリッドメトリクススイート（可読性に配慮したWER（RA-WER）、BLEU、MaxMatch（M2）、GLEU）を用いてモデルを評価した。RA-WERは可読性に影響を与える誤りを明示的にペナルティ付けるように設計されている。
• 2段階のデータパイプライン（GEC → TTS → ASR）を用い、意味を保持したまま現実のASRエラーを模倣した。
• エンドツーエンド学習による利点を明確にするために、すべてのモデルを従来のルールベースの後処理ベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルモデルは、従来のルールベースの後処理手法を上回り、ASRトランスクリプトの可読性を著しく向上させることができるか？
• RQ2 GEC、TTS、ASRを用いた合成データ生成は、APR用に高品質でタスク固有のデータセットを生成するのに効果的か？
• RQ3 RoBERTa や RoBERTa-UniLM といった事前学習モデルは、MASS や UniLM などの他のアーキテクチャと比較して、APRタスクでどれほど優れた性能を示すか？
• RQ4 WER、BLEU、M2、GLEU のうち、どの指標がASR後処理における人間の可読性認識を最もよく反映しているか？
• RQ5 1つのモデルで誤り是正と滑らかさ向上を同時に実行することは、分離された処理ステップよりも優れた性能をもたらすか？

主な発見

• RoBERTaベースのモデルが全体で最高のパフォーマンスを示し、JFLEGテストセットにおいて可読性に配慮したWER（RA-WER）が13.88を記録した。これはベースラインおよび他のモデルを著しく上回った。
• RoBERTa-UniLMはM2指標（54.32）およびBLEU（80.77）で優れた性能を示し、限られた学習データと収束の遅れにもかかわらず、滑らかさと整合性の向上が見られた。
• 微細調整されたモデルは、従来のパイプラインと比較してRA-WERを30%以上削減した。これは、APRにおけるエンドツーエンド学習の有効性を示している。
• GLEU指標はトレードオフを示した：WERが低く、BLEUが高い場合でも、必ずしも滑らかさが高くなるとは限らず、現在の指標が可読性を完全に捉えていない可能性を示唆した。
• TTSとASRを用いた合成データ生成は、大規模かつ多様なAPRデータセットを効果的に生成でき、強力なモデルの汎化性能を可能にした。
• わずか7200ステップの学習でもRoBERTa-UniLMは有望な結果を示し、さらなる事前学習によってさらに高い向上が得られると示唆された。