[論文レビュー] "Listen, Understand and Translate": Triple Supervision Decouples End-to-end Speech-to-text Translation

Qianqian Dong, Rong Ye+5 more|arXiv (Cornell University)|Sep 21, 2020

Speech Recognition and Synthesis被引用数 13

ひとこと要約

本論文は、音声認識（Acoustic Modeling）、意味理解（Semantic Representation）、翻訳（Cross-lingual Generation）の3段階に分離する統合的エンドツーエンド音声翻訳フレームワークLUTを提案する。三重の監視信号として、音声アライメント、事前学習済みBERT埋め込み、標準的な翻訳損失を用いる。本手法は、追加の微調整や推論オーバーヘッドなしに外部ASRおよびMTデータを効果的に活用し、LibriSpeech、IWSLT、TEDベンチマークで最先端の性能を達成する。

ABSTRACT

An end-to-end speech-to-text translation (ST) takes audio in a source language and outputs the text in a target language. Existing methods are limited by the amount of parallel corpus. Can we build a system to fully utilize signals in a parallel ST corpus? We are inspired by human understanding system which is composed of auditory perception and cognitive processing. In this paper, we propose Listen-Understand-Translate, (LUT), a unified framework with triple supervision signals to decouple the end-to-end speech-to-text translation task. LUT is able to guide the acoustic encoder to extract as much information from the auditory input. In addition, LUT utilizes a pre-trained BERT model to enforce the upper encoder to produce as much semantic information as possible, without extra data. We perform experiments on a diverse set of speech translation benchmarks, including Librispeech English-French, IWSLT English-German and TED English-Chinese. Our results demonstrate LUT achieves the state-of-the-art performance, outperforming previous methods. The code is available at https://github.com/dqqcasia/st.

研究の動機と目的

• 並列STコーパスの不足と中間監視の欠如によるエンドツーエンド音声翻訳（ST）モデルの性能制限を解消すること。
• 人間の聴覚および認知処理を模倣するように、STタスクを「聞く」「理解する」「翻訳する」の3段階に分離すること。
• 追加の並列データを必要とせず、事前学習モデルと補助的監視を活用することで、音声および意味表現学習を向上させること。
• 多段階の監視により、文字起こしエラー（誤認識、省略、繰り返しなど）に対するモデルの頑健性を向上させること。

提案手法

• LUTフレームワークは、音声特徴抽出のための音声エンコーダ、文脈的意味表現のための意味エンコーダ、およびターゲット言語生成のための翻訳デコーダから成る3つのモジュールから構成される。
• 三重の監視が適用される：(1) 局所的な音声フレーム間の依存関係を学習するための単調アライメント損失、(2) より豊かな意味表現を学習させるための事前学習済みBERT埋め込みによる意味エンコーダの監視、(3) 翻訳のための標準的な交差エントロピー損失。
• 音声エンコーダは、ASRの文字起こしによる強制的アライメントを用いて訓練され、局所的で単調なフレーム-単語関係を保持する。
• 意味エンコーダは、元のテキストからのプールドBERT文脈埋め込みを用いて監視され、追加データなしに高レベルの意味的意味を学習できる。
• すべての3つの損失を用いてエンドツーエンドで訓練されるが、推論時には最終的な翻訳損失のみが使用され、効率性が保証される。
• アーキテクチャは、変換器、畳み込みニューラルネットワーク、RNNなど、柔軟なバックボーン選択を可能とし、さまざまなハードウェアおよびタスク要件に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 音声、意味、翻訳の三重監視は、標準的なシーケンス・ツー・シーケンスモデルを超えて、エンドツーエンド音声翻訳の性能を向上させることができるか？
• RQ2 事前学習済みBERT埋め込みによる意味監視は、追加の並列データを必要とせず、意味表現を向上させることができるか？
• RQ3 強制的な単調アライメントは、局所的フレーム依存関係を保持することで、STにおける音声モデリングを改善できるか？
• RQ4 LUTは、多様なSTベンチマークにおいて、カスケード型およびエンドツーエンドベースラインと比較して、どのように性能を発揮するか？
• RQ5 LUTは、入力音声における誤認識、省略、繰り返しといった文字起こしエラーに対して、どの程度頑健であるか？

主な発見

• LUTは、LibriSpeech英語-フランス語、IWSLT2018英語-ドイツ語、TED英語-中国語の音声翻訳ベンチマークで、最先端の性能を達成する。
• LibriSpeechでは、LibriTTSテストセットでBLEUスコア35.6を達成し、以前のエンドツーエンドモデルを2 BLEU点以上上回る。
• IWSLT2018では、BLEUスコア32.1を達成し、以前の最先端モデルを3.2 BLEU点以上上回る。
• TED英語-中国語では、BLEUスコア28.7を達成し、ドメインシフトに対して強いゼロショット一般化性能と頑健性を示す。
• アブレーションスタディの結果、BERTベースの意味監視と単調アライメント損失の両方が、性能向上に顕著な寄与をしていることが確認された。
• LUTは、欠落や繰り返しのある単語が含まれるASR仮説に対しても、誤った出力が生じないよう、正しく翻訳を維持するための耐障害性を示している。