[論文レビュー] Simultaneous Speech Translation for Live Subtitling: from Delay to Display

Alina Karakanta, Sara Papi+2 more|arXiv (Cornell University)|Jul 19, 2021

Subtitles and Audiovisual Media被引用数 10

ひとこと要約

本稿では、ライブ字幕における可読性を向上させるために、字幕の区切りを予測し、動的な1行ずつのスクロール形式で翻訳を提示する、同時通訳翻訳（SimulST）のスクロールライン表示モードを提案する。英語→イタリア語、ドイツ語、フランス語の3言語対についての実験では、スクロールライン表示が14.4–19.9 cpsの快適な読破速度を達成し、85%の字幕が21 cpsの閾値を満たす一方で、遅延は4秒の目標に近く維持されており、単語ごとの表示やブロックベースの表示よりも優れている。

ABSTRACT

With the increased audiovisualisation of communication, the need for live subtitles in multilingual events is more relevant than ever. In an attempt to automatise the process, we aim at exploring the feasibility of simultaneous speech translation (SimulST) for live subtitling. However, the word-for-word rate of generation of SimulST systems is not optimal for displaying the subtitles in a comprehensible and readable way. In this work, we adapt SimulST systems to predict subtitle breaks along with the translation. We then propose a display mode that exploits the predicted break structure by presenting the subtitles in scrolling lines. We compare our proposed mode with a display 1) word-for-word and 2) in blocks, in terms of reading speed and delay. Experiments on three language pairs (en$\ ightarrow$it, de, fr) show that scrolling lines is the only mode achieving an acceptable reading speed while keeping delay close to a 4-second threshold. We argue that simultaneous translation for readable live subtitles still faces challenges, the main one being poor translation quality, and propose directions for steering future research.

研究の動機と目的

• 同時通訳翻訳（SimulST）を用いたライブ多言語字幕生成の可能性を検討すること。
• SimulSTにおける単語ごとの表示モードがもたらす可読性の低さ、すなわち読破速度のばらつきと視聴者の疲労を是正すること。
• 予測された字幕区切りを活用して、ブロックベースとスクロールラインの2つの代替表示戦略を検討すること。
• リアルタイム字幕生成における、読破速度と遅延のトレードオフを異なる表示モードで評価すること。
• 特に翻訳品質と評価手法の課題を含め、SimulSTをライブ字幕に適用する際の主な課題を特定すること。

提案手法

• 著者らは、ライン区切りを示す特別なトークンを条件として与えることで、字幕区切りを予測するようにSimulSTモデルをファインチューニングする。
• システムはストリーミング形式で、1語ずつ翻訳を生成し、適切な位置に予測された区切りを挿入する。
• スクロールライン表示モードを実装し、リアルタイムで1行ずつ字幕をレンダリングすることで、意味的ブロックを保持しつつ動的なスクロールを実現する。
• 3つの表示モード（単語ごと、ブロックベース、スクロールライン）を比較する。
• 読破速度（rs）と遅延を、3言語対（en→it、en→de、en→fr）におけるMuST-Cinema amaraデータセットを用いて測定する。
• システムは21 cpsの読破速度閾値への適合度を評価し、平均遅延（ミリ秒単位）を算出し、実用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 自動同時通訳翻訳は、ライブ多言語字幕生成の実用的手段として成立するか？
• RQ2 SimulSTシステムの生成モードが、ライブ字幕の可読性に及ぼす課題は何か？
• RQ3 単語ごと、ブロックベース、スクロールラインの異なる表示戦略は、ライブ字幕における読破速度と遅延にどのように影響するか？
• RQ4 予測された字幕区切りは、ライブ環境下でのSimulST生成字幕の可読性を向上させられるか？
• RQ5 自動ライブ字幕生成において、低遅延と許容可能な読破速度の最適なバランスは何か？

主な発見

• スクロールライン表示は、全言語対で最低の平均読破速度（14.4–19.9 cps）を達成し、85%の字幕が快適な読破に適した21 cpsの閾値を満たした。
• 単語ごとの表示モードは、最高の読破速度（最大58.4 cps）を記録したが、一貫性のない単語表示時間に起因し、可読性が著しく低かった。
• ブロックベース表示は、最大4,503–5,273 msの遅延を示し、4秒の閾値を超え、高遅延システムでは読破速度の改善がややしか得られなかった。
• スクロールライン表示は、ブロックベース表示と比較して平均0.6秒の遅延低減を達成し、4秒の目標に近い遅延（4,090–4,708 ms）を維持した。
• 読破速度の低減と遅延の低減の間には相関関係が確認され、両者の逆相関関係が裏付けられた。
• en→de言語対では、待機時間の延長（wait-5 vs. wait-3）に伴い読破速度が上昇したが、これは長さ適合率の低下（91% vs. 94%）と相関しており、正確な区切り予測の重要性を示している。