[論文レビュー] On Word Error Rate Definitions and their Efficient Computation for Multi-Speaker Speech Recognition Systems

Thilo von Neumann, Christoph Boeddeker+3 more|arXiv (Cornell University)|Nov 29, 2022

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿では、重複する会話を持つマルチスプーカー・マルチチャネル音声認識システム（MIMO）向けに、一貫した発話単位を1つの仮説チャネルにマッチングする動的計画法を用いた多次元レーベンシュタイン距離テンソル上で効率的に WER を計算する一般化された MIMO WER フレームワークを提案する。この手法により、従来は指数的であった ORC WER の計算が多項式時間に短縮され、長時間の録音や多様な評価シナリオに対しても実用的になる。

ABSTRACT

We propose a general framework to compute the word error rate (WER) of ASR systems that process recordings containing multiple speakers at their input and that produce multiple output word sequences (MIMO). Such ASR systems are typically required, e.g., for meeting transcription. We provide an efficient implementation based on a dynamic programming search in a multi-dimensional Levenshtein distance tensor under the constraint that a reference utterance must be matched consistently with one hypothesis output. This also results in an efficient implementation of the ORC WER which previously suffered from exponential complexity. We give an overview of commonly used WER definitions for multi-speaker scenarios and show that they are specializations of the above MIMO WER tuned to particular application scenarios. We conclude with a discussion of the pros and cons of the various WER definitions and a recommendation when to use which.

研究の動機と目的

• 重複する会話を処理し、複数の出力シーケンスを生成するマルチスプーカー・マルチチャネル ASR システム（MIMO）に対して、統一的かつ効率的な WER 定義が不足している問題に対処する。
• 従来、発話数が多い録音では評価が非現実的であった、ORC WER などの既存 WER 定義の指数的計算量の問題を克服する。
• 既存の WER 定義（例：uWER、SA-WER、cpWER、ORC WER）を、統一された MIMO WER フレームワークの特殊ケースとして一般化する。
• スプーカー ラベル や正確なタイミング情報が不要な WER 評価を可能にし、エンドツーエンド モデルを含む多様な ASR システムに適用可能にする。
• ORC WER やその他のバリエーションをサポートするオープンソースのツール、MeetEval を開発・公開する。

提案手法

• 発話単位が一貫して1つの仮説チャネルにマッチングされる制約のもと、参照シーケンスと仮説シーケンスの多次元レーベンシュタイン距離の計算として MIMO WER を形式化する。
• 発話が複数の出力チャネルに分割されるのを防ぐために、動的計画法の定式化に「チャネル変更トークン」を導入し、整合性のあるトランスクリプション評価を保証する。
• 探索空間をテンソルとして構造化し、指数的列挙を回避する制約を適用することで、多項式時間計算量の効率的アルゴリズムを導出する。
• 同じフレームワークを用いて ORC WER の計算量を発話数に関して指数的から多項式時間に低減し、より長い録音の評価を可能にする。
• アルゴリズムをオープンソースの MeetEval ツールキットに実装し、柔軟な入力フォーマットと既存の ASR 評価パイプラインへの統合をサポートする。
• 実世界の会議認識シナリオにおいて、ブルートフォース ORC WER、asclite、および他の WER バリエーションと比較して、効率性と正確性をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 複数のスプーカーを処理し、複数の出力チャネルを生成する MIMO ASR システム向けに、統一的かつ汎用的な WER 定義をどのように形式化できるか？
• RQ2 ORC WER などの既存 WER 定義の計算量はどの程度で、指数的から多項式時間に低減可能か？
• RQ3 提案された MIMO WER フレームワークは、uWER、SA-WER、cpWER、ORC WER などの既存 WER 定義とどのように関係し、一般化するか？
• RQ4 発話の分割やスプーカーの誤認に強く、特にその影響を避ける点で、MIMO WER フレームワークはどのようなシナリオで既存 WER 定義を上回るか？
• RQ5 時間的・スプーカー レベルのアノテーションに依存せずに、フレームワークを効率的に実装可能か？また、asclite などの既存ツールと比較して実行時間とスケーラビリティの点でどう異なるか？

主な発見

• 提案された MIMO WER フレームワークは、uWER、SA-WER、cpWER、ORC WER を、異なる制約下での特殊ケースとして一般化する。
• 多次元レーベンシュタイン テンソル上で動的計画法を適用することで、ORC WER の計算量が指数的から多項式時間に低減され、20 件を超える発話を含む録音の評価が可能になった（従来は非現実的であった）。
• MIMO WER および ORC WER の実行時間は発話数に関して多項式時間の複雑性を示し、最大 100 発話のベンチマークで確認された。ログスケールの実行時間プロットでは凹型の曲線が観察された。
• asclite ツールは時間的アノテーションの使用によりベンチマークでほぼ線形の性能を示したが、mms_msg のような複雑なシナリオでは計算量が爆発的に増加し、唯一提案された ORC WER 実装が生存可能な状況となった。
• MIMO WER フレームワークはスプーカー ラベル やタイミングに依存しないため、エンドツーエンド ASR システムやそのようなアノテーションが欠落しているアーキテクチャにも適用可能である。
• オープンソースの MeetEval ツールキットにより、MIMO システム向けに効率的かつスケーラブルな WER 評価が可能になり、ORC WER に非対応のシステムを含む既存の評価パイプラインへの統合も可能になった。