[論文レビュー] Cross-Modal ASR Post-Processing System for Error Correction and Utterance Rejection

Jing Du, Shiliang Pu+6 more|arXiv (Cornell University)|Jan 10, 2022

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本論文は、音声的特徴とテキスト的特徴を統合することで、誤り訂正と発話棄却を統合的に処理するクロスモダリティでマルチタスク学習に基づくASR後処理システムを提案する。このシステムは、信頼度推定器と誤り訂正器を同時に学習し、1トークンあたり1.7msの遅延で単一発話およびマルチスプーカー音声において10%以上の相対的CER低減を達成し、単一モダリティおよび単一タスクモデルを上回る精度と効率性を実現する。

ABSTRACT

Although modern automatic speech recognition (ASR) systems can achieve high performance, they may produce errors that weaken readers' experience and do harm to downstream tasks. To improve the accuracy and reliability of ASR hypotheses, we propose a cross-modal post-processing system for speech recognizers, which 1) fuses acoustic features and textual features from different modalities, 2) joints a confidence estimator and an error corrector in multi-task learning fashion and 3) unifies error correction and utterance rejection modules. Compared with single-modal or single-task models, our proposed system is proved to be more effective and efficient. Experiment result shows that our post-processing system leads to more than 10% relative reduction of character error rate (CER) for both single-speaker and multi-speaker speech on our industrial ASR system, with about 1.7ms latency for each token, which ensures that extra latency introduced by post-processing is acceptable in streaming speech recognition.

研究の動機と目的

• ASRシステムにおける誤りの伝搬を軽減するため、精度と信頼性を向上させる統合的後処理フレームワークの開発。
• 音声的およびテキスト的モダリティからのクロスモダリティ特徴を活用することで、誤り訂正と発話棄却の両方を強化。
• 信頼度推定と誤り訂正を同時に最適化するマルチタスク学習により、効率性と性能を向上。
• 計算負荷を最小限に抑えながら高精度を維持することで、ストリーミングASRにおける遅延を低減。
• 共有学習フレームワーク内での信頼度推定と誤り訂正の相互利益を調査。

提案手法

• ASRモデルの隠れ状態からの音声埋め込みと、BERTベースの表現からのテキスト特徴を統合する。
• 共有エンコーダー表現を用いて、信頼度推定器と誤り訂正器を同時に学習するマルチタスク学習アーキテクチャを採用。
• 訂正処理中にシーケンス長を調整するための長さ予測器を導入し、挿入誤りを低減。
• 信頼度スコアを用いて低信頼度トークンをフィルタリングし、訂正を支援するが、明示的なフィルタリングはアブレーションスタディでのみ適用。
• 信頼度スコアに基づく正則化損失と、BERTからの知識蒸留を用いて、学習の安定性と性能を向上。
• 信頼度スコア、重複確率、および訂正器のソフトマックス出力を用いて発話棄却を実施。

実験結果

リサーチクエスチョン

• RQ1 音声的特徴とテキスト的特徴のクロスモダリティ統合は、ASR後処理における誤り訂正と信頼度推定の両方を向上させるか？
• RQ2 誤り訂正と信頼度推定を同時に学習するマルチタスク学習は、単一タスクまたは別個モデルと比較して性能を向上させるか？
• RQ3 信頼度スコアをフィルタリングメカニズムとして組み込むことで、訂正精度とシステム効率にどのような影響を与えるか？
• RQ4 長さ予測器は、誤り訂正における挿入誤りをどの程度低減するか？
• RQ5 事前学習済み言語モデルからの知識蒸留は、後処理システムの性能をさらに向上させるか？

主な発見

• クロスモダリティモデルはIDCTデータセットで10.6%のCERを達成し、信頼度推定においてAUC 0.906（BERTベースのテキスト単体モデルの0.887）を上回り、8.2倍高速であった。
• 統合的マルチタスクモデルは、わずか46.8MBのパラメータでCERを10.6%に低減し、別個モデルを上回り、信頼度フィルタリング付き単一訂正器と比較して0.25のCER改善を達成した。
• 長さ予測器はCERを0.25ポイント低減し、主に挿入誤りの低減に寄与した。正則化損失により、NCEで0.15、CERで0.35の向上が得られた。
• BERT-base-chineseからの知識蒸留により、CERは10.0%に低下し、AUCは0.912に上昇し、外部の言語的知識の有効性を示した。
• 単一発話およびマルチスプーカー音声の両方で10%以上の相対的CER低減を達成し、1トークンあたり1.7msの遅延に留め、ストリーミング応用に適している。
• 信頼度フィルタリングは統合モデルにおいては最小限の追加利益（0.05のCER低減）に留まり、訂正器がすでにマルチタスク学習を通じて信頼度信号を内蔵的に活用していることを示している。