[論文レビュー] Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS

Katsuhito Sudoh, Takatomo Kano+4 more|arXiv (Cornell University)|Nov 10, 2020

Natural Language Processing Techniques参考文献 31被引用数 9

ひとこと要約

本稿では、英語から日本語への音声対音声翻訳を対象とした完全に段階的（インクリメンタル）な神経ネットワークシステムを提示する。このシステムは、神経的段階的自動音声認識（ASR）、機械翻訳（MT）、およびテキスト対音声合成（TTS）を段階的に統合したアーキテクチャを採用している。処理遅延が低く抑えられ（最大3秒）、翻訳品質を維持しつつ、同時翻訳における遅延と品質のメトリクスを用いた初のシステムレベルの評価を達成した。

ABSTRACT

This paper presents a newly developed, simultaneous neural speech-to-speech translation system and its evaluation. The system consists of three fully-incremental neural processing modules for automatic speech recognition (ASR), machine translation (MT), and text-to-speech synthesis (TTS). We investigated its overall latency in the system's Ear-Voice Span and speaking latency along with module-level performance.

研究の動機と目的

• 従来の発話単位処理と比較して遅延を低減する、リアルタイムかつ同時処理可能な音声対音声翻訳システムの開発。
• ASR、MT、TTSモジュールの全段階で段階的処理を可能にすることで、音声対音声翻訳における高い遅延という課題に取り組む。
• エンドツーエンド翻訳品質を評価するため、システムレベルの遅延（イヤー・ボイススパンおよび発話遅延）とモジュールレベルのパフォーマンス（WER、CER、BLEU、MOS）を併記する。
• リアルタイム環境下における翻訳のなめらかさと適切さに与える影響を踏まえ、ASRからMTへの誤り伝搬の影響を調査する。

提案手法

• 本システムは、段階的ASR（教師学生蒸留法を用いて）、段階的MT（wait-kデコード法を用いて）、段階的TTS（アクセントフレーズ境界をトリガーとして）の3つの完全に段階的な神経ネットワークモジュールを段階的に接続したアーキテクチャを採用している。
• 各モジュールは左から右へ、シンボル同期的に処理を行い、最小限の待機時間でリアルタイムでの出力生成を実現している。
• ASRモジュールは、段階的推論性能の向上を目的として、非段階的教師モデルを用いて学習されている。
• MTモジュールは、入力トークンk個分の遅延を許容することで、遅延と翻訳品質のバランスを取るwait-k戦略を適用している。
• TTSモジュールは、次のアクセントフレーズを検出すると直ちに合成を開始することで、出力遅延を最小限に抑える。
• システムレベルの遅延はイヤー・ボイススパンおよび発話遅延を用いて測定され、モジュールレベルのパフォーマンスはWER、CER、BLEU、MOSを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 低遅延を実現しつつ、完全に段階的な神経ネットワークパイプラインを音声対音声翻訳にどのように設計できるか？
• RQ2 段階的ASRから段階的MTへの誤り伝搬が翻訳品質に与える影響は何か？
• RQ3 段階的MTにおけるwait-k戦略が遅延と翻訳の適切さのバランスに与える影響は何か？
• RQ4 リアルタイム翻訳環境下において、段階的TTSはどれほど自然さを維持し、発話遅延を最小限に抑えることができるか？
• RQ5 段階的音声対音声翻訳システムにおいて、システムレベルの遅延特性（イヤー・ボイススパンおよび発話遅延）はどのようなものか？

主な発見

• システムは全モジュールで最大3秒の処理遅延を達成し、リアルタイム同時翻訳の実現可能性を示した。
• 段階的ASRの単語誤り率（WER）は、Talk 1で0.344、Talk 2で0.221であり、それぞれCERは0.199および0.117であった。
• 段階的MTのBLEU-4スコアは低く（Talk 1で3.5、Talk 2で4.9）、ドメインやスタイルの不一致のため自動評価に著しい課題があることが示された。
• 主観的評価では、適切さ（1.76–1.94/5）と自然さ（2.48–2.54/5）は中程度であり、2番目の話題ではスコアが高かったことから、ドメイン依存の性能差が確認された。
• 段階的TTSの平均意見スコア（MOS）は2.34および2.55であり、自然さは中程度であり、2番目の話題でスコアが高かった。
• 翻訳例から、誤り伝搬の問題が明らかになった。例えば「dog」が「dark」に誤って翻訳され、「relief workers」が「another viewpoint」と誤訳された例があり、リアルタイムでの文脈処理の難しさが浮き彫りになった。