[論文レビュー] Error Correction in ASR using Sequence-to-Sequence Models

Samrat Dutta, Shreyansh Jain+4 more|arXiv (Cornell University)|Feb 2, 2022

Speech Recognition and Synthesis被引用数 10

ひとこと要約

本稿では、合成および実際のASR誤りを用いて微調整されたBARTモデル、RoBARTを提案する。音声素配列と拡張データにおける適応的トレーニングを活用することで、発音の強い発音の誤りに対して著しいWER低減を達成するが、文脈の捉えが限定的であるため、文法的誤り補正では性能が劣る。

ABSTRACT

Post-editing in Automatic Speech Recognition (ASR) entails automatically correcting common and systematic errors produced by the ASR system. The outputs of an ASR system are largely prone to phonetic and spelling errors. In this paper, we propose to use a powerful pre-trained sequence-to-sequence model, BART, further adaptively trained to serve as a denoising model, to correct errors of such types. The adaptive training is performed on an augmented dataset obtained by synthetically inducing errors as well as by incorporating actual errors from an existing ASR system. We also propose a simple approach to rescore the outputs using word level alignments. Experimental results on accented speech data demonstrate that our strategy effectively rectifies a significant number of ASR errors and produces improved WER results when compared against a competitive baseline. We also highlight a negative result obtained on the related grammatical error correction task in Hindi language showing the limitation in capturing wider context by our proposed model.

研究の動機と目的

• 音声認識（ASR）誤りの代表的で体系的なタイプ、すなわち音声的誤解、綴りの誤り、語の境界誤りを補正する課題に対処すること。
• ASR誤り補正のための教師ありトレーニングデータの不足を補うために、合成誤りデータを生成すること。
• ASRに妥当な誤りで事前学習済みのエンコーダー・デコーダー型モデル（BART）を微調整することで、ASR出力品質を向上させること。
• インド語の文法的誤り補正（GEC）タスクにおけるモデルの一般化能力を評価し、その限界を明らかにすること。

提案手法

• 合成ASR誤りと実際のASR仮説の組み合わせを用いて、音声ベースの誤りパターンに適応できるように事前学習済みBARTモデルを微調整する。
• 参照トランスクリプションに対して、文字の削除、置換、語の境界シフトといった音声的に妥当な編集を適用することで、合成トレーニングデータを生成する。
• 音声素配列を補助入力として組み込むことで、音声的要因による誤りの検出・補正能力を向上させる。
• 語レベルのアライメントを用いて、ASRシステム出力とRoBART出力を再スコアリングおよび統合し、最終的なトランスクリプション品質を向上させる。
• ランダムマスキングと誤り指向マスキングの両戦略を用いて、mBARTモデルをヒンディ語の文法的誤り補正に適応させる。
• アクセントのある発音データにおけるWERとヒンディ語GECデータセットにおけるGLEUを用いて、ベースラインと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 BARTのような事前学習済みシーケンス・トゥ・シーケンスモデルは、合成および実際の誤りデータを用いて効果的に微調整可能か？
• RQ2 音声素配列を入力として組み込むことで、ASRにおける誤り補正性能はどのように向上するか？
• RQ3 提案されたデータ拡張戦略は、アクセントのある発音データにおける単語誤り率（WER）を著しく低減するか？
• RQ4 同じモデルアーキテクチャは文法的誤り補正に一般化可能か？もし不可能であれば、その理由は何か？
• RQ5 文脈認識の役割は、音声的誤り（ASR）と変形的誤り（GEC）を区別する上で果たすか？

主な発見

• RoBARTモデルは、合成および実際のASR誤りで微調整することで、発音の強い発音の誤りデータにおいて著しいWER低減を達成する。
• ASR仮説とRoBART出力を語レベルのアライメントと再スコアリングにより統合することで、トランスクリプション品質がさらに向上する。
• 綴りの誤り、文字の削除、語の境界の誤解といった音声的要因による誤りに対して、モデルは良好な性能を示す。
• ヒンディ語の文法的誤り補正タスクでは、mBARTベースのモデルがベースラインより劣り、特に変形的および構文的誤りに対して顕著に性能が低い。
• GECでの失敗は、局所的な語彙的誤りでは優れた性能を示すものの、広範な文脈的依存関係を捉えられないことによるものとされる。
• 微調整時に誤り指向マスキングを用いても、単純なランダムマスキングに比べて性能向上が見られず、文脈モデリングの重要性が誤り特化マスキングを上回ることが示された。