[論文レビュー] Towards Neural Machine Translation with Partially Aligned Corpora

Yining Wang, Yang Zhao+3 more|arXiv (Cornell University)|Nov 3, 2017

Natural Language Processing Techniques参考文献 30被引用数 6

ひとこと要約

本稿では、平行文書が一切存在せず、単語対訳ペアと単語文書のみが利用可能な低リソース環境を想定した、ニューラル機械翻訳（NMT）の新規手法を提案する。部分的に整合された文ペairを、単語対訳ペアと単語文書から導出することで、最小限の平行文書ビテキストでも顕著な品質向上を実現するため、二重生成戦略と修正された目的関数を導入する。

ABSTRACT

While neural machine translation (NMT) has become the new paradigm, the parameter optimization requires large-scale parallel data which is scarce in many domains and language pairs. In this paper, we address a new translation scenario in which there only exists monolingual corpora and phrase pairs. We propose a new method towards translation with partially aligned sentence pairs which are derived from the phrase pairs and monolingual corpora. To make full use of the partially aligned corpora, we adapt the conventional NMT training method in two aspects. On one hand, different generation strategies are designed for aligned and unaligned target words. On the other hand, a different objective function is designed to model the partially aligned parts. The experiments demonstrate that our method can achieve a relatively good result in such a translation scenario, and tiny bitexts can boost translation quality to a large extent.

研究の動機と目的

• 完全な文レベルの平行ペアが存在せず、単語文書と単語対訳ペアのみが利用可能な、NMTの新規なシナリオに対処すること。
• 大規模な平行ビテキストを必要とする従来のNMT手法の制限を克服すること。
• 非平行な文（翻訳断片が整合しているが全体として平行でない）を効果的に活用する訓練フレームワークを設計すること。
• わずかな追加の平行ビテキストのみを用いても、翻訳品質を顕著に向上させること。
• あらゆるアテンションベースのNMTアーキテクチャと互換性がある方法を構築し、広範な適用可能性を確保すること。

提案手法

• 情報検索に基づくアラインメント手法を用いて、単語文書と単語対訳ペアから部分的に整合された文ペアを導出する。
• 二重生成戦略を実装：アラインされたターゲット語には、ソース文脈と以前のターゲット語を考慮した文脈認識生成を適用し、非アラインされたターゲット語には、過去のターゲット語のみを用いた自己回帰的生成を適用する。
• アラインされたセグメントの尤度を重視しつつも、ターゲット文全体の対数尤度を最大化するように修正された目的関数を設計する。
• 部分的アラインメントに対応するため、標準のNMT訓練手順を変更し、デコーダーのアテンションと生成プロセスを調整する。
• 完全な文ペアが不要な状態で、部分的に整合されたデータを訓練プロセスに統合する。
• アラインされた部分と非アラインされた部分の生成ロジックを分離することで、標準のアテンションベースNMTフレームワークと互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 完全な文レベルの平行データが存在しない状況で、単語文書と単語対訳ペアのみを用いてニューラル機械翻訳を効果的に訓練できるか？
• RQ2 完全に平行ではないが、一部の翻訳断片が一致する部分的に整合された文ペアは、どのようにしてNMT性能の向上に寄与できるか？
• RQ3 部分的アラインメントに対応するため、NMTの訓練手順にどのような変更が必要か？また、翻訳品質の低下を避けるにはどうすればよいか？
• RQ4 この低リソース環境下で、わずかな追加の平行ビテキストが翻訳品質をどの程度向上させ得るか？
• RQ5 提案手法は、さまざまな言語対やNMTアーキテクチャに一般化可能か？

主な発見

• 提案手法は、単語文書と単語対訳ペアのみを用いた低リソース環境でも、比較的高い翻訳性能を達成している。
• わずかな追加の平行ビテキストでも翻訳品質に顕著な向上が見られ、本手法が最小限の平行データに非常に感受性が高いことを示している。
• 二重生成戦略と修正された目的関数は、部分的に整合されたセグメントを効果的に活用し、低頻度の翻訳断片に対するモデルの学習を向上させている。
• 本手法は、さまざまなアテンションベースNMTフレームワークで有効であることが確認され、広範な互換性と実用的価値を示している。
• 中国語-英語翻訳の実験では、同じ低リソース条件下で、ベースライン手法を上回る性能を示している。
• 高品質な単語対訳ペアが利用可能な状況では、本手法が低リソースおよびゼロショット翻訳シナリオの実現可能性を示している。