[論文レビュー] Multi-Source Neural Machine Translation with Missing Data

Yuta Nishimura, Katsuhito Sudoh+2 more|arXiv (Cornell University)|Jun 7, 2018

Natural Language Processing Techniques参考文献 11被引用数 4

ひとこと要約

本論文は、不足した多言語コーパスを補完するための単純ながら効果的な手法を提案する。具体的には、欠落したソース翻訳を特別な $<$NULL$>$ トークンに置き換えることで、標準的なマルチエンコーダーおよびエキスパートの混合（mixture-of-experts）NMTアーキテクチャを用いて、不完全なデータでも学習および推論を可能にする。実TEDトークスデータを用いた実験では、ワンツーワンNMTシステムに比べてBLEUスコアが最大2.22ポイント向上した。

ABSTRACT

Multi-source translation is an approach to exploit multiple inputs (e.g. in two different languages) to increase translation accuracy. In this paper, we examine approaches for multi-source neural machine translation (NMT) using an incomplete multilingual corpus in which some translations are missing. In practice, many multilingual corpora are not complete due to the difficulty to provide translations in all of the relevant languages (for example, in TED talks, most English talks only have subtitles for a small portion of the languages that TED supports). Existing studies on multi-source translation did not explicitly handle such situations. This study focuses on the use of incomplete multilingual corpora in multi-encoder NMT and mixture of NMT experts and examines a very simple implementation where missing source translations are replaced by a special symbol . These methods allow us to use incomplete corpora both at training time and test time. In experiments with real incomplete multilingual corpora of TED Talks, the multi-source NMT with the tokens achieved higher translation accuracies measured by BLEU than those by any one-to-one NMT systems.

研究の動機と目的

• 多言語コーパスに翻訳の欠落がある場合に、マルチソースNMTシステムの学習および展開を困難にする課題に対処すること。
• 一部の言語が欠落している場合でも、訓練時および推論時における利用可能なすべてのソース言語翻訳を有効に活用できることを可能にすること。
• 欠落した入力を $<$NULL$>$ トークンに単純に置き換えることで、標準的なワンツーワンNMTに比べて翻訳性能が向上するかどうかを評価すること。
• 完全なカバレッジが稀な実世界のシナリオ（例：多言語字幕）におけるマルチソースNMTの性能を調査すること。

提案手法

• 訓練時および推論時において、マルチソースNMTにおける欠落したソース文を学習可能な $<$NULL$>$ トークンに置き換える。
• グローバルアテンションを備えた標準的なマルチエンコーダーNMTアーキテクチャを用い、デコーダーの隠れ状態はエンコーダー最終状態の重み付き連結によって初期化する。
• エキスパートの混合（mixture-of-NMT-experts）モデルに対しても、同じ $<$NULL$>$ トークン戦略を適用する。各エキスパートは双方向コーパスで学習され、出力はルーティングネットワークによってゲーティングされる。
• フランス語、ポルトガル語（ブラジル）など、一部言語の翻訳が欠落している状況を含む、TEDトークスの実際の不完全な多言語コーパスを用いてモデルを学習および評価する。
• マルチソースNMTと $<$NULL$>$ を処理するワンツーワンNMTシステムを比較する主な指標としてBLEUスコアを用いる。
• 完全な（欠落なし）および不完全な（部分的欠落）テストセットの両方で性能を評価し、耐障害性を検証する。

実験結果

リサーチクエスチョン

• RQ1 不完全な多言語コーパス上で、欠落した入力を表す $<$NULL$>$ トークンを用いて学習・テストしたマルチソースNMTシステムは、翻訳精度を向上させることができるか？
• RQ2 実世界の不完全データにおいて、$<$NULL$>$ トークンを用いたマルチソースNMTの性能は、ワンツーワンNMTシステムと比較してBLEUスコアでどのように差がつくか？
• RQ3 他のソース（例：ブラジルポルトガル語）が欠落している状況でも、1つの追加ソース言語（例：フランス語）が翻訳品質を向上させるか？
• RQ4 欠落データの条件下で、マルチエンコーダーおよびエキスパートの混合（mixture-of-experts）アーキテクチャの両方におけるマルチソースNMTの挙動はどのように異なるか？

主な発見

• マルチソースNMTモデルに $<$NULL$>$ トークンを適用した結果、{En,Es,Fr}-to-Pt (br) 翻訳タスクでワンツーワンNMTシステムに比べてBLEUスコアが2.22ポイント向上した。
• {En,Fr,Pt (br)}-to-Es タスクでは、マルチエンコーダー・モデルが1.69ポイント、エキスパートの混合モデルが1.19ポイントのBLEU向上を達成した。
• {En,Es,Pt (br)}-to-Fr タスクでは、エキスパートの混合モデルがワンツーワンNMTに比べて1.69ポイントのBLEU向上を達成した。
• たとえ1つのソース文（例：英語のみ）しか利用できない状況でも、マルチソースモデルは参照翻訳と同一の翻訳を出力しており、欠落データに対して高い耐性を示した。
• 例（1）において、混合エキスパートモデルはBLEU+1スコアで0.726を達成し、ワンツーワンモデル（0.266）を大きく上回ったが、ブラジルポルトガル語の入力が欠落していた。
• すべての性能向上は統計的に有意（p < 0.01）であり、$<$NULL$>$ アプローチが複数の言語組み合わせおよびモデルアーキテクチャで有効であることを確認した。