[論文レビュー] Low Latency ASR for Simultaneous Speech Translation

Thai‐Son Nguyen, Jan Niehues+7 more|arXiv (Cornell University)|Mar 22, 2020

Speech Recognition and Synthesis参考文献 8被引用数 10

ひとこと要約

本稿では、安定した部分仮説追跡と動的出力再編集を用いた継続的デコードによる低遅延自動音声認識（ASR）システムを提案する。コミットメント遅延ではなく単語レベルの遅延を測定することで、語誤り率（WER）を損なわずに平均単語遅延を18.1秒から1.1秒に低減し、ライブの講義とのリアルタイム同期性を著しく向上させた。

ABSTRACT

User studies have shown that reducing the latency of our simultaneous lecture translation system should be the most important goal. We therefore have worked on several techniques for reducing the latency for both components, the automatic speech recognition and the speech translation module. Since the commonly used commitment latency is not appropriate in our case of continuous stream decoding, we focused on word latency. We used it to analyze the performance of our current system and to identify opportunities for improvements. In order to minimize the latency we combined run-on decoding with a technique for identifying stable partial hypotheses when stream decoding and a protocol for dynamic output update that allows to revise the most recent parts of the transcription. This combination reduces the latency at word level, where the words are final and will never be updated again in the future, from 18.1s to 1.1s without sacrificing performance in terms of word error rate.

研究の動機と目的

• リアルタイム同時講義翻訳システムにおける低遅延音声認識の重要なニーズに対処すること。
• 継続的ストリームデコードにおけるユーザが感じ取る遅延をより正確に測定するため、コミットメント遅延よりも単語レベルの遅延を導入すること。
• 特にリアルタイムで区切りのない音声入力が行われる状況において、認識精度を損なわず遅延を低減すること。
• 発表者のジェスチャーとスライドに同期する、適切なタイミングでの転写および翻訳出力を可能にすること。

提案手法

• 早期に安定した部分仮説を出力できるように、段階的な仮説追跡を伴う継続的デコードを採用する。
• より確率の高い系列が出現した際に、以前に出力された単語を再編集できる動的出力更新プロトコルを導入する。
• 音声入力から最終的かつ変更不能な出力に至るまでの時間を定義し、ユーザーが感じ取る遅延をよりよく反映するため、遅延を単語レベルで測定する。
• 低遅延制約下でも頑健な認識を実現するため、DNN音声モデルに4-gram言語モデル（150,000語以上）と1,600ニューロンの層を組み合わせる。
• ピーク遅延を制御しながら高い精度を維持するため、長さ制限技術を適用する。特に困難な音声部分において有効である。
• IWSLT 2015の8本のTEDトークを用いて、すべてのシステムのWER、RTF、コミットメント遅延、単語遅延を評価する。

実験結果

リサーチクエスチョン

• RQ1 継続的でリアルタイムの音声認識において、コミットメント遅延よりも単語レベルの遅延が、ユーザーが感じ取る遅延をより正確に測定できる理由は何か？
• RQ2 認識精度を損なわず、同時翻訳における単語レベルの遅延を低減するための技術は何か？
• RQ3 システムが後に以前の出力を訂正できる場合、動的出力再編集はどのように遅延を改善するか？
• RQ4 長さ制限戦略は、困難な音声セグメントにおけるピーク遅延と認識性能にどのような影響を与えるか？

主な発見

• 提案されたシステムは、語誤り率（WER）に何ら劣化を来さずに、平均単語遅延を18.1秒から1.1秒にまで低減し、94％の改善を達成した。
• 最高性能を示した設定（Update）では、最大単語遅延がたったの9.0秒にまで低下した。これはベースラインシステム（Update-NA）の23.5秒と比べて顕著な改善である。
• PortionおよびUpdateシステムは、WERとRTFが類似しているにもかかわらず、Baseline-1およびBaseline-2よりも単語遅延において顕著に優れており、コミットメント遅延やRTFが遅延指標として唯一の指標として不十分であることが示された。
• 仮説安定化に3秒の長さ制限を適用することで、高い精度を維持しながらピーク遅延を低減でき、ピーク遅延を最小限の性能コストで効果的に制御できることがわかった。
• 動的出力更新機構により、後に訂正される可能性があるが、早期に安定した出力を得られるようになり、初期出力が正しい場合に遅延が低減される。
• 結果から、連続的かつ区切りのない入力環境におけるリアルタイム音声認識システムの評価において、単語レベルの遅延がコミットメント遅延やRTFよりもより意味のある指標であることが確認された。