[論文レビュー] Multi-Source Neural Machine Translation with Data Augmentation

Yuta Nishimura, Katsuhito Sudoh+2 more|arXiv (Cornell University)|Oct 16, 2018

Natural Language Processing Techniques参考文献 6被引用数 14

ひとこと要約

本稿では、多言語コーパスにおける翻訳の欠落を、訓練済みのマルチソースNMTモデルが生成する疑似翻訳によって埋める、マルチソースニューラル機械翻訳（NMT）のためのデータ拡張手法を提案する。この手法は、欠落データを<NULL>トークンに置き換えるベースライン手法よりも翻訳性能を著しく向上させ、特にソース言語とターゲット言語が類似している場合に2 BLEUポイントの向上を達成する。

ABSTRACT

Multi-source translation systems translate from multiple languages to a single target language. By using information from these multiple sources, these systems achieve large gains in accuracy. To train these systems, it is necessary to have corpora with parallel text in multiple sources and the target language. However, these corpora are rarely complete in practice due to the difficulty of providing human translations in all of the relevant languages. In this paper, we propose a data augmentation approach to fill such incomplete parts using multi-source neural machine translation (NMT). In our experiments, results varied over different language combinations but significant gains were observed when using a source language similar to the target language.

研究の動機と目的

• マルチソースNMTにおける不完全な多言語並列コーパスの課題に対処すること。特に、一部のソース言語に人間による翻訳が存在しない状況を想定する。
• <NULL>トークンの代わりに機械生成の疑似翻訳を活用することで、翻訳の正確性を向上させること。
• 低リソース多言語翻訳環境において、マルチソースNMTを用いたデータ拡張が既存手法を上回るかを検証すること。
• 「埋め込み」「埋め込みと置換」「埋め込みと追加」の3つの異なる拡張戦略が、多様な言語対に与える翻訳精度への影響を評価すること。
• 洗練された疑似翻訳を用いた反復的トレーニングによって、モデル性能をさらに向上させることを検討すること。

提案手法

• 事前に訓練済みのマルチソースNMTモデルを用いて、欠落しているソース文の疑似翻訳を生成し、<NULL>トークンを機械生成翻訳で置き換える。
• 3つの拡張戦略を提案する：「埋め込み」（欠落部分のみを埋める）、「埋め込みと置換」（元のターゲットを疑似翻訳に置き換える）、「埋め込みと追加」（疑似翻訳を追加のソースとして追加する）。
• マルチエンコーダーNMTアーキテクチャを用い、グローバルアテンションを採用。複数のソース言語からのエンコーダー状態を連結し、デコーダーの初期隠れ状態およびセル状態に投影する。
• 疑似翻訳は、英語と各ターゲット言語間の並列データに基づいて訓練された一対一NMTモデルを用いて生成され、その後マルチソースNMTの訓練データ拡張に使用される。
• 特にボランティアによる作業によって翻訳が不完全になりがちなTEDトークキャプションのような、翻訳が欠落している多言語コーパスを対象に評価する。
• 反復的トレーニングを検討し、フィードバックループ内で更新された疑似翻訳を用いてマルチソースNMTモデルを再トレーニングする。

実験結果

リサーチクエスチョン

• RQ1 マルチソースNMTからの疑似翻訳を用いたデータ拡張は、不完全な多言語コーパスにおける翻訳性能を向上させることができるか？
• RQ2 「埋め込み」「埋め込みと置換」「埋め込みと追加」の異なる拡張戦略が、言語対ごとに翻訳精度にどのように影響を与えるか？
• RQ3 疑似翻訳生成に用いられる一対一NMTモデルの品質が、拡張手法の有効性に与える影響は何か？
• RQ4 複数のトレーニングループを経て疑似翻訳を反復的に精錬することで、モデル性能をさらに向上させることができるか？
• RQ5 多言語コーパスにおける非並列性（たとえば、ある言語でフレーズが欠落している状況）が翻訳品質に与える影響は何か？また、拡張によってこのような不整合を是正できるか？

主な発見

• 提案されたデータ拡張手法は、<NULL>ベースラインに対して最大2 BLEUポイントの向上を達成した。特にソース言語とターゲット言語が類似している言語対で顕著な向上が見られた。
• 「埋め込みと追加」戦略は、英語-ベトナム語および英語-インドネシア語対で最高のBLEUスコアを記録した。これは、これらのコーパスにおける欠落率が低かったためと推察される。
• 「埋め込みと置換」や「埋め込みと追加」のような攻撃的戦略は、クロアチア語、セルビア語、スロバキア語、チェコ語対で顕著なBLEUスコアの低下を引き起こした。これは、ノイズの多い疑似翻訳が性能を劣化させることを示している。
• 更新された疑似翻訳を用いた反復的トレーニングでは、BLEUスコアが徐々に低下した。これは、ノイズの蓄積が潜在的な利益を上回っていることを示唆している。
• 多言語コーパスにおける非並列性（例：セルビア語で「Dozvolite mi」が欠落していた場合）は、疑似翻訳によって是正された。具体的には、欠落した内容を補填する形で「Dozvolite mi」が追加された。
• ソース言語とターゲット言語が言語的に近い場合に、この手法は最も効果的である。類似言語対で顕著な向上が観察されたことからも、その妥当性が裏付けられている。