[論文レビュー] Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead

Piyush Behre, Naveen Parihar+8 more|arXiv (Cornell University)|Oct 26, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

本稿では、音声特徴と言語モデル予測を1語分の先行照合（look-ahead）を用いて統合するハイブリッドな発話分割手法を提案する。プロソディックおよび言語的文脈を活用することで、特に音声入力の文書入力シナリオにおいて過剰分割を低減し、分割F0.5の平均で9.8%の向上を達成するとともに、6言語にわたる機械翻訳タスクでBLEUスコアを0.4〜1.4ポイント向上させた。

ABSTRACT

Segmentation for continuous Automatic Speech Recognition (ASR) has traditionally used silence timeouts or voice activity detectors (VADs), which are both limited to acoustic features. This segmentation is often overly aggressive, given that people naturally pause to think as they speak. Consequently, segmentation happens mid-sentence, hindering both punctuation and downstream tasks like machine translation for which high-quality segmentation is critical. Model-based segmentation methods that leverage acoustic features are powerful, but without an understanding of the language itself, these approaches are limited. We present a hybrid approach that leverages both acoustic and language information to improve segmentation. Furthermore, we show that including one word as a look-ahead boosts segmentation quality. On average, our models improve segmentation-F0.5 score by 9.8% over baseline. We show that this approach works for multiple languages. For the downstream task of machine translation, it improves the translation BLEU score by an average of 1.05 points.

研究の動機と目的

• 静音に基づくまたはVADのみに依存する手法が自然な間仕切りを文境界と誤解するため、連続音声認識（ASR）における過剰分割を是正すること。
• 言語モデル（LM-EOS）を用いた言語的文脈を意思決定プロセスに統合することで、分割品質を向上させること。
• 右側文脈（先行照合）を組み込むことで分割性能に与える影響、特に標点や下流タスクに与える影響を調査すること。
• 異なる発話タイプ（音声入力、会議、ポッドキャスト）および複数言語にわたる性能を評価すること。
• 改善された分割が下流タスク（例：機械翻訳）に与える効果を示し、BLEUスコアの向上を測定すること。

提案手法

• 本手法は、VAD-EOSモデル（音声特徴のみ）とLM-EOSモデル（言語モデルに基づく）をハイブリッドに組み合わせ、セグメント終端予測を実行するアーキテクチャを採用する。
• LM-EOSモデルは、Open Web Textコーパスを学習データとして用い、正規化された口語的表現を用い、文末の句読点（.、？）を対象にフィルタリングしている。
• v3モデルでは先行照合機構を導入し、LM-EOSが1語分の未来文脈にアクセス可能となるようにすることで、意思決定の信頼性を向上させた。
• 分割意思決定は、VAD-EOSとLM-EOSの出力を統合して行い、過剰分割を回避するための精度を重視する。
• 各セグメントは、固定されたTransformerベースの標点予測モデルに渡され、標点の予測が行われる。
• 各言語ごとにモデルを訓練することで、言語固有の適応が可能となり、モジュラリティとスケーラビリティを維持している。

実験結果

リサーチクエスチョン

• RQ1 音声特徴に言語的特徴を統合することで、純粋に音声ベースの手法と比較して過剰分割を低減できるか？
• RQ2 言語モデルを用いた場合、1語分の先行照合を組み込むことで、分割意思決定がどのように向上するか？
• RQ3 先行照合を組み込んだ音声的・言語的ハイブリッドアプローチが、異なる発話タイプおよび言語に一般化できるか？
• RQ4 改善された分割が、どの程度下流の機械翻訳性能を向上させるか？
• RQ5 本手法は、音声タイピングや会議記録などの長時間音声認識タスクに効果的に適用可能か？

主な発見

• 先行照合を備えたv3モデルは、ベースライン比で平均9.8%のF0.5スコア向上を達成し、特に音声入力タスクで最大15.9%の向上を記録した。
• 先行照合なしのv2モデルでさえ、すべてのデータセットでベースラインを上回ったことから、言語的特徴が分割に寄与することが確認された。
• NPR-76データセットでは、v3モデルが適合率と再現率のバランスを適切に保つことができ、最適な分割性能を示した。
• 機械翻訳タスクでは、v3モデルが6言語すべてでBLEUスコアを0.4〜1.4ポイント向上させ、イタリア語（1.3ポイント）と英語（1.4ポイント）で最大の向上を記録した。
• 本手法は、音声入力、決算会議、議会会議など多様なドメインで一貫した有効性を示した。
• ユーザースタディの結果、F0.5を主な指標として採用する理由が裏付けられ、適合率の重要性が確認された。