[論文レビュー] Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation

Marco Gaido, Matteo Negri+2 more|arXiv (Cornell University)|Apr 23, 2021

Natural Language Processing Techniques参考文献 29被引用数 16

ひとこと要約

本論文は、直接的会話翻訳のためのハイブリッド音声セグメンテーション手法を提案し、VADベースの手法と比較して手動セグメンテーションとのギャップを30%以上低減することで翻訳品質を向上させる。この手法は言語的手がかりと音声特徴を組み合わせて構文的に情報を持つセグメントを生成し、遅延を増加させることなく、VAD、固定長、および既存のハイブリッド手法を上回る性能を発揮する。特に低リソース言語対や構造的に異なる言語対において顕著である。

ABSTRACT

The audio segmentation mismatch between training data and those seen at run-time is a major problem in direct speech translation. Indeed, while systems are usually trained on manually segmented corpora, in real use cases they are often presented with continuous audio requiring automatic (and sub-optimal) segmentation. After comparing existing techniques (VAD-based, fixed-length and hybrid segmentation methods), in this paper we propose enhanced hybrid solutions to produce better results without sacrificing latency. Through experiments on different domains and language pairs, we show that our methods outperform all the other techniques, reducing by at least 30% the gap between the traditional VAD-based approach and optimal manual segmentation.

研究の動機と目的

• トレーニング時（手動でセグメント化された）と推論時（自動的にセグメント化された）のデータにおける音声セグメンテーションの不一致が直接的会話翻訳の性能を低下させることを是正すること。
• エンドツーエンドの直接STの文脈において、既存のセグメンテーション手法（VADベース、固定長、ハイブリッド）の限界を調査すること。
• 構文的構造と音声特徴を活用して、遅延を犠牲にせずにより正確で構文に配慮したセグメントを生成するハイブリッドセグメンテーションアプローチを設計すること。
• 多様なドメイン（TED、欧州議会）と言語対（en-de、en-it）を対象に評価し、強靭性と一般化性能を示すこと。

提案手法

• VADベースの音声活動検出と、自動音声認識（ASR）トランスクリプトから得られる構文的セグメンテーション手がかりを組み合わせたハイブリッドセグメンテーションフレームワークを提案する。
• ASRによって生成された句読点とプロソディック特徴を用いて句境界で強制的セグメンテーションを実施し、より短く言語的に意味のあるセグメントを生成する。
• 言語的整合性と音声持続時間に基づいて動的しきい値を用いてセグメントを統合または分割するメカニズムを採用し、極端に短いまたは長いセグメントを回避する。
• リアルタイムで音声を処理することでストリーミング対応を実現し、完全な音声入力が得られるまで待つことなく低遅延推論を可能にする。
• VAD、ASR、言語的構造の組み合わせを用いてセグメンテーションを誘導し、推論後に外部ASRモデルに依存しないように設計する。
• 2段階セグメンテーションを採用：まずVADが音声領域を特定し、次に言語的構造が境界を構文的単位に一致させるように精緻化する。

実験結果

リサーチクエスチョン

• RQ1 直接的会話翻訳において、VADベースのセグメンテーションは手動セグメンテーションと比べて翻訳品質でどの程度差が生じるか？
• RQ2 固定長およびVADベースのセグメンテーションは、特にセグメント長と言語的整合性の観点から、直接STに適用した際の限界は何か？
• RQ3 構文的構造を組み込んだハイブリッドセグメンテーション手法は、VADおよび固定長ベースラインを上回る翻訳パフォーマンスを達成できるか？
• RQ4 元言語と対象言語の構造的類似性は、最適なセグメンテーション戦略にどのような影響を与えるか？
• RQ5 ストリーミング対応の直接ST応用に適した遅延に配慮したハイブリッドセグメンテーション手法を設計できるか？

主な発見

• 提案手法は、英語→ドイツ語翻訳においてVADベースのセグメンテーションと手動セグメンテーションのギャップを54.71%低減し、英語→イタリア語翻訳では30.95%低減した。
• MuST-CおよびEuroparl-STデータセットの両方において、VAD、固定長、およびSRPOLに類似したアプローチを含むすべてのベースライン手法を上回った。
• 強制的セグメンテーション（句レベルの分割）により、ドイツ語翻訳の結果が向上し、誤訳の発生が減少し、構文的整合性が向上したが、出力長はやや延びた。
• 完全な音声入力が得られるまで待つ必要がないため、低遅延を維持しており、ストリーミングに適している。
• 構造的に異なる言語対（例：SVOからSOV）において、ギャップ低減効果が最も顕著であり、構文再配置が複雑な場合に顕著に現れた。
• 手法の有効性は対象言語の構文に敏感である：英語に似た構造を持つイタリア語では良好に機能したが、長距離再配置が生じやすいドイツ語ではエラーの発生リスクが高くなる傾向にあった。