[論文レビュー] Enabling Multi-Source Neural Machine Translation By Concatenating Source Sentences In Multiple Languages

Raj Dabre, Fabien Cromierès+1 more|arXiv (Cornell University)|Feb 20, 2017

Natural Language Processing Techniques参考文献 23被引用数 22

ひとこと要約

本稿では、マルチソースニューラル機械翻訳（MSNMT）のための単純で前処理ベースの手法を提案する。複数の言語からのソース文を1つの入力系列に連結することで、任意の標準NMTモデルがアーキテクチャの変更なしに多言語並列データを活用できる。5つのソース言語を用いることで最大6 BLEUの向上を達成し、NMTシステムが言語的に類似したソース言語に自然に注目する傾向を示しており、本手法の有効性と解釈可能性を裏付けている。

ABSTRACT

In this paper, we explore a simple solution to "Multi-Source Neural Machine Translation" (MSNMT) which only relies on preprocessing a N-way multilingual corpus without modifying the Neural Machine Translation (NMT) architecture or training procedure. We simply concatenate the source sentences to form a single long multi-source input sentence while keeping the target side sentence as it is and train an NMT system using this preprocessed corpus. We evaluate our method in resource poor as well as resource rich settings and show its effectiveness (up to 4 BLEU using 2 source languages and up to 6 BLEU using 5 source languages). We also compare against existing methods for MSNMT and show that our solution gives competitive results despite its simplicity. We also provide some insights on how the NMT system leverages multilingual information in such a scenario by visualizing attention.

研究の動機と目的

• NMTアーキテクチャや学習手順を変更せずに、前処理のみでエンドツーエンドのマルチソースNMTを可能にすること。
• ILCI、IWSLT、UNなど多様な多言語コーパスにおいて、低リソースおよび高リソース設定の両方で本手法を評価すること。
• マルチソース状況における翻訳品質と言語類似度の相関関係を分析すること。
• マルチエンコーダーやアンサンブルと比較して、性能とモデルの複雑さの観点から本手法を評価すること。
• 注意可視化を用いて、NMTモデルが連結された入力における異なるソース言語にどのように注目するかを調査し、特に言語的類似性との関連を検討すること。

提案手法

• 本手法は、N種の異なる言語からの対応するソース文を1つの長大な多言語入力文に連結する。ターゲット文は変更しない。
• 得られた並列コーパスは、任意の標準NMTシステムで学習され、連結された入力を単一のソース系列として扱う。
• NMTモデルにアーキテクチャの変更は加えず、注意機構を備えたまたは階層的なNMTアーキテクチャとも完全に互換性がある。
• 複数のモデルを学習するか、アンサンブル関数を学習する必要がなくなるため、従来のMSNMT手法よりも単純でパラメータ効率が良い。
• 注意可視化を用いて、連結された入力における異なるソース言語にモデルがどのように注目するかを分析する。
• 言語類似度スコア（例：ターゲット言語との類似度）を用いて注意パターンを解釈し、翻訳品質の向上と相関づける。

実験結果

リサーチクエスチョン

• RQ1 多言語ソース文の連結という単純な前処理ステップが、NMTアーキテクチャを変更せずに効果的なマルチソースNMTを可能にするか？
• RQ2 翻訳品質は、ソース言語の数やターゲット言語との言語類似度にどのように依存するか？
• RQ3 マルチエンコーダーやアンサンブルといった既存のMSNMT手法と比較して、本手法の性能とパラメータ効率はどの程度か？
• RQ4 連結された入力においてNMTモデルが異なるソース言語にどの程度注目するか、そしてその注目度が言語的類似性にどのように影響を受けるか？
• RQ5 連結された入力における注意パターンを用いて、多言語の語彙的対応関係を抽出できるか？

主な発見

• 2つのソース言語を用いる場合に最大4 BLEUの向上を達成し、5つのソース言語を用いる場合に最大6 BLEUの向上を示しており、翻訳品質の顕著な向上を実証した。
• ILCIコーパスでは、ヒンディー語をターゲット言語とし、ベンガル語、英語、マラーティー語、タミル語、テルグ語の5言語をソースに使用した場合、6 BLEUの向上を達成。特に言語的に近縁なマラーティー語とテルグ語に高い注目度を示した。
• 明示的な区切り文字が存在しない状況でも、モデルが連結入力内の文境界を識別する能力を学習しており、注意パターンが言語遷移に一致していることが示された。
• 注意可視化により、ターゲット言語（例：ヒンディー語）と語彙的に類似度の高い言語（例：マラーティー語、テルグ語）にモデルがより注目していることが判明。逆に、類似度が低い英語やタミル語にはほとんど注目していない。
• UNコーパス（フランス語・スペイン語を英語に翻訳）では、スペイン語に高い注目度が示され、スペイン語-英語翻訳でフランス語-英語翻訳よりも9ポイント高いBLEUスコアを達成した。
• 2言語モデルでは、パラメータ数が半分未満で、最先端の手法（マルチエンコーダーおよびアンサンブル）を上回るか同等の性能を示し、優れたパラメータ効率を実証した。