[論文レビュー] Low-Latency Neural Speech Translation

Jan Niehues, Ngoc-Quan Pham+3 more|arXiv (Cornell University)|Aug 1, 2018

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、合成された部分文データを用いたマルチタスク学習アプローチを提案し、神経機械翻訳（NMT）モデルを低遅延音声翻訳に適応させる。これにより、完全な文に対する性能を損なわず、途中で切れた発話の正確なリアルタイム翻訳が可能となり、段階的な出力における補正頻度が45%削減される。これはリアルタイムシステムにおけるユーザーエクスペリエンスを顕著に向上させる。

ABSTRACT

Through the development of neural machine translation, the quality of machine translation systems has been improved significantly. By exploiting advancements in deep learning, systems are now able to better approximate the complex mapping from source sentences to target sentences. But with this ability, new challenges also arise. An example is the translation of partial sentences in low-latency speech translation. Since the model has only seen complete sentences in training, it will always try to generate a complete sentence, though the input may only be a partial sentence. We show that NMT systems can be adapted to scenarios where no task-specific training data is available. Furthermore, this is possible without losing performance on the original training data. We achieve this by creating artificial data and by using multi-task learning. After adaptation, we are able to reduce the number of corrections displayed during incremental output construction by 45%, without a decrease in translation quality.

研究の動機と目的

• リアルタイム処理中に部分的な音声入力が与えられた際、NMTモデルが完全な文を生成してしまうという課題に対処すること。これは、誤ったまたは重複する翻訳を引き起こす。
• タスク固有のデータで再訓練せずに、事前学習済みNMTモデルを推論時に部分文を処理できるように適応させること。また、完全な文に対する性能を低下させないこと。
• 段階的な出力生成における翻訳補正の回数を最小限に抑えることで、音声翻訳におけるリアルタイムユーザーエクスペリエンスを向上させること。
• マルチタスク学習を用いて合成された部分文を用いることで、モデルの挙動を低遅延音声翻訳要件に効果的に一致させられることを検証すること。

提案手法

• リアルタイム音声入力のシミュレーションとして、元語と対訳語の両方が不完全（部分的）な形で含まれる、並列単語語彙を人工的に生成する。
• マルチタスク学習を用いてNMTモデルを訓練し、同じアーキテクチャ内で完全文と部分文の両方の翻訳を同時に学習させる。
• 共有されたエンコーダ・デコーダTransformerアーキテクチャと共有されたアテンションメカニズムを用い、デコーダが完全入力および部分入力の両方に対して適切な出力を生成するように最適化する。
• 過剰生成や長出力を罰する報酬関数を用いた強化学習（RL）を適用し、部分入力に対する耐性をさらに高める。
• マルチタスク学習とRLのファインチューニングを組み合わせ、翻訳品質と低遅延補正最小化の両方を同時に最適化する。
• モデルの妥当性を確認するため、完全文、部分文、および自動音声認識（ASR）出力のすべての入力タイプに対して評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のデータで再訓練せずに、NMTモデルをリアルタイム音声翻訳における部分文の翻訳に効果的に適応できるか？
• RQ2 合成された部分文データを用いたマルチタスク学習は、完全文に対する性能を維持したまま、不完全入力に対する翻訳の耐性を向上させられるか？
• RQ3 強化学習は、段階的翻訳における過剰生成と補正頻度をどの程度さらに低減できるか？
• RQ4 合成データとマルチタスク学習の組み合わせは、ベースラインのファインチューニングに比べて、補正削減と翻訳品質の両面で優れているか？

主な発見

• マルチタスク学習アプローチにより、段階的翻訳における再書き換えトークン数がベースライン比で45%削減され、ユーザーエクスペリエンスが顕著に向上した。
• 完全文に対するBLEUスコアは維持され、あるいはわずかに向上した。これは、元の学習データに対する性能の劣化がないことを示している。
• 強化学習により、部分文に対する性能がさらに向上し、特に過剰生成や語の繰り返しの低減に効果的であった。
• マルチタスク学習とRLの組み合わせにより、補正頻度が最大50%まで削減され、単独で使用する場合を上回る性能を達成した。
• マルチタスクモデルは短い不完全入力に対してより良好に一般化でき、句読点の不整合に対してもベースラインよりもより頑健に処理できた。特に、句読点のない部分文に対しては、ベースラインが頻繁に失敗するのに対し、本手法は安定した性能を示した。
• ドイツ語→英語翻訳では、部分入力に対して25%の補正削減が達成されたが、英語→スペイン語に比べて効果が小さかった。これは、ドイツ語に比べて構文の再配置が顕著であるためと考えられる。