[論文レビュー] Multilingual End-to-End Speech Translation

Hirofumi Inaguma, Kevin Duh+2 more|arXiv (Cornell University)|Oct 1, 2019

Natural Language Processing Techniques参考文献 59被引用数 5

ひとこと要約

本稿では、複数のソース言語から複数のターゲット言語への直接的翻訳を可能にする、パラメータをすべて共有するユニバーサルなシーケンス・ツー・シーケンスモデルを用いたマルチリンガルエンドツーエンドスティーブ翻訳（E2E-ST）フレームワークを提案する。一対多および多対多翻訳の両状況において、バイリンガルモデルに比べ顕著な性能向上を示し、Mboshi–フランス語のような低リソース言語ペアにおいても強力なゼロショット一般化性能を示す。

ABSTRACT

In this paper, we propose a simple yet effective framework for multilingual end-to-end speech translation (ST), in which speech utterances in source languages are directly translated to the desired target languages with a universal sequence-to-sequence architecture. While multilingual models have shown to be useful for automatic speech recognition (ASR) and machine translation (MT), this is the first time they are applied to the end-to-end ST problem. We show the effectiveness of multilingual end-to-end ST in two scenarios: one-to-many and many-to-many translations with publicly available data. We experimentally confirm that multilingual end-to-end ST models significantly outperform bilingual ones in both scenarios. The generalization of multilingual training is also evaluated in a transfer learning scenario to a very low-resource language pair. All of our codes and the database are publicly available to encourage further research in this emergent multilingual ST topic.

研究の動機と目的

• バイリンガルエンドツーエンドスティーブ翻訳の限界を克服し、複数のソース言語およびターゲット言語間でのマルチリンガル学習を可能にすること。
• 別個のASRおよびMTモジュールによる誤差伝搬を回避するため、統合されたフレームワーク内で音声を直接ターゲットテキストにマッピングすること。
• マルチリンガル事前学習と転移学習を通じて、低リソース環境での性能と一般化能力を向上させること。
• 言語固有のモデリングや複雑なパイプラインデコードを避ける、統一的かつパラメータ効率の良いアーキテクチャを提供すること。
• コードとデータを公開することで、再現可能性の高い研究を促進すること。

提案手法

• すべての言語ペアに共通するエンコーダーおよびデコーダーのパラメータを共有するユニバーサルなシーケンス・ツー・シーケンスモデルを用い、マルチリンガルスティーブ翻訳データ上で統合的に学習する。
• マルチリンガル環境におけるデータスパarsityの緩和と語彙の爆発を回避するため、ソースおよびターゲットの両シーケンスに文字単位のトークン化を採用する。
• アテンションベースのエンコーダーデコーダー構造を活用し、音声からテキストへの翻訳を統合的に最適化するエンドツーエンド学習を実施する。
• 低リソースモデル（例：Mboshi–フランス語）を、Mboshiの発話文を事前学習段階で使用せずに、マルチリンガル事前学習済みE2E-STモデルから初期化することで転移学習を実施する。
• マルチリンガルNMTおよびASRの手法にインspiredされた、ゼロショット翻訳と言語間でのパラメータ共有を可能にする共有エンコーダーデコーダー構造を採用する。
• 特に低リソース状況で安定した学習とアライメントを向上させるために、エンコーダーにハイブリッドCTC/アテンション損失を適用する。

Fig. 1 : System overview for the multilingual end-to-end speech translation model

実験結果

リサーチクエスチョン

• RQ1 1つのユニバーサルなシーケンス・ツー・シーケンスモデルが、複数のソースおよびターゲット言語ペアをカバーするマルチリンガルエンドツーエンドスティーブ翻訳を効果的に行えるか？
• RQ2 一対多および多対多設定における翻訳性能の観点から、マルチリンガルE2E-STはバイリンガルE2E-STに比べてどのように優れているか？
• RQ3 Mboshi–フランス語のような極めて低リソースな言語ペアにおいて、マルチリンガル事前学習がゼロショット転送性能をどの程度向上させるか？
• RQ4 統合されたE2E-STモデルにおける言語間のパラメータ共有は、パイプラインシステムと比較して誤差伝搬を低減し、より頑健になるか？
• RQ5 事前にターゲット言語の文字を知らなくても、未学習の言語ペアに一般化できるか？

主な発見

• マルチリンガルE2E-STモデルは、一対多および多対多翻訳の両状況において、バイリンガルモデルを顕著に上回る性能を示し、Mboshi–フランス語の低リソースタスクではBLEUスコアがバイリンガルモデルの4.55からO2Mの6.92に向上した。
• O2M（一対多）マルチリンガルモデルがMboshi–フランス語テストセットで最高のBLEUスコア6.92を達成し、M2Ma（6.52）およびM2Mc（5.50）の構成を上回った。
• バイリンガル事前学習と比較して、マルチリンガル事前学習によりMboshi–フランス語言語ペアにおけるゼロショット転送性能が向上し、未学習の低リソース言語への一般化能力が向上したことが示された。
• Fisher、LibriSpeech、TEDといった標準ベンチマークでも競争力ある性能を達成し、マルチリンガル学習によってE2E-STとパイプラインシステムとの差が縮小された。
• データスパarsityの処理が優れていることから、すべての設定でBPEよりも文字単位の単位が優れた性能を示した。特に低リソース状況で顕著であった。
• 言語識別や別個のテキスト正規化を必要とせず、ゼロショット翻訳を成功させた。これによりパイプラインが簡素化され、誤差伝搬も低減された。