[論文レビュー] Open Challenge for Correcting Errors of Speech Recognition Systems

Marek Kubis, Zygmunt Vetulani+2 more|arXiv (Cornell University)|Jan 9, 2020

Advanced Data Processing Techniques被引用数 5

ひとこと要約

この論文は、音声データにアクセスせずにASR仮説と参照トランスクリプションのみを用いて自動音声認識（ASR）の誤りを是正するオープンチャレンジを提示する。参加者は機械学習技術を用いてASR出力を改善するモデルを開発し、ポーランド語のデータセット（学習用8,142文、テスト用1,000文）を用いて評価される。関連研究では、相対的WERが最大19%改善された。

ABSTRACT

The paper announces the new long-term challenge for improving the performance of automatic speech recognition systems. The goal of the challenge is to investigate methods of correcting the recognition results on the basis of previously made errors by the speech processing system. The dataset prepared for the task is described and evaluation criteria are presented.

研究の動機と目的

• システムの誤った出力と正しい参照トランスクリプションのみを用いてASR誤りを是正する手法を開発すること。
• 音声データへのアクセスが制限される環境において、従来のASRパイプラインを超える多様な機械学習およびNLPアプローチを促進すること。
• 過去の誤りから自己学習することでASR性能を向上させ、自己進化・自己適応型システムを実現すること。
• WER、SRR、CharMatch-F0.5といった標準化された評価指標を用いて、ASR誤り是正のベンチマークを確立すること。
• 誤りが深刻な分野、特に危機管理やバーチャルアシスタントにおける低リソースおよび高ノイズ環境での研究を支援すること。

提案手法

• ポーランド語のウィキニュースから抽出した9,142文のデータセットを提供。各文は2名のネイティブスピーカーがASRシステムに読み上げた。
• 各データサンプルには以下の4要素が含まれる：(1) ASR仮説（誤った出力）、(2) 参照トランスクリプション（正しいバージョン）、(3) ユニークID、(4) ソースの出典。
• テキスト正規化を実施：すべての単語を大文字に変換し、ハイフンを除くすべての標点を削除。数字および特殊文字はその発音表現に置換。
• データセットは学習用8,142サンプル、テスト用1,000サンプルに分割され、それぞれ平均WERが3.94および4.01である。
• 参加者は音声や音響特徴を一切使用せず、仮説と参照のみを入力として、ASR仮説から補正出力へのマッピングを実現するシステムを提出する。
• 評価はGonitoプラットフォームを用い、3つの指標（語誤り率（WER）、文認識率（SRR）、Levenshtein距離を用いたF0.5ベースのCharMatch測定）で実施される。

実験結果

リサーチクエスチョン

• RQ1 音声データにアクセスせずに、誤った仮説と正しい参照のみを用いて、機械学習モデルがどれほどASR誤りを是正できるか。
• RQ2 特に低リソースまたはノイズの多い環境下で、多様なNLPおよびML技術（特にsequence-to-sequenceモデルやSMT）がASR誤り是正にどれほど有効であるか。
• RQ3 過去の誤りからの自己学習が、危機管理など重要な応用分野におけるWERを顕著に低減できるか。
• RQ4 WER、SRR、CharMatch-F0.5といった異なる評価指標は、誤り是正タスクにおける実世界の性能とどれほど相関しているか。
• RQ5 テキストレベルの監視のみが可能な状況下で、モデルアーキテクチャや学習データサイズが是正性能に与える影響は何か。

主な発見

• データセットはポーランド語ウィキニュースから抽出された9,142組の文ペアから構成され、学習セットに8,142件、テストセットに1,000件が含まれ、一貫した比較が可能となるように正規化されている。
• テストセットにおける平均WERは4.01であり、1文あたり約4%の誤り率を示しており、文誤り率は0.75である。
• SMTベースのモデルを用いた先行研究では、2,000件の小規模コーパス上で、WERが11.4%から10.2%に低下し、相対的WER改善率が10.5%に達した。
• 4,000万件のTTS生成発話で学習したLSTMベースのsequence-to-sequenceモデルは、相対的WER改善率19%（ベースラインWER: 6.03%）を達成した。
• 追加で言語モデルの再スコアリングを適用した場合、同じモデルは相対的WER改善率29%を達成し、外部言語モデルの価値が示された。
• CharMatch-F0.5指標は、是正操作の適合率と再現率を測定することを目的としており、T_iは仮説-参照、仮説-出力、出力-参照間のLevenshtein距離の平均として計算される。