[論文レビュー] Towards Making the Most of Context in Neural Machine Translation

Zaixiang Zheng, Xiang Yue+3 more|arXiv (Cornell University)|Feb 19, 2020

Natural Language Processing Techniques参考文献 30被引用数 7

ひとこと要約

本稿では、任意の長さの文書（単一文を含む）に対して、柔軟かつエンド・ツー・エンドの方法で局所的文脈とグローバルな文書的文脈を明示的にモデル化する統合型ニューラル機械翻訳フレームワークを提案する。このモデルは、Transformerベースラインおよび先行の文書レベルNMTシステムを最大2.1 BLEUの向上で上回り、適切に活用されたより大きな文脈が翻訳品質を一貫して向上させることを示している。

ABSTRACT

Document-level machine translation manages to outperform sentence level models by a small margin, but have failed to be widely adopted. We argue that previous research did not make a clear use of the global context, and propose a new document-level NMT framework that deliberately models the local context of each sentence with the awareness of the global context of the document in both source and target languages. We specifically design the model to be able to deal with documents containing any number of sentences, including single sentences. This unified approach allows our model to be trained elegantly on standard datasets without needing to train on sentence and document level data separately. Experimental results demonstrate that our model outperforms Transformer baselines and previous document-level NMT models with substantial margins of up to 2.1 BLEU on state-of-the-art baselines. We also provide analyses which show the benefit of context far beyond the neighboring two or three sentences, which previous studies have typically incorporated.

研究の動機と目的

• 既存の文書レベルNMTモデルがグローバルな文脈を十分に活用できず、単一文の入力に対応できないという限界を是正すること。
• 別々の学習プロトコルを必要とせず、文単位および文書単位の翻訳を両立できる統合アーキテクチャを設計すること。
• 2〜3文程度の一般的に想定される最適な窓サイズを超えて、文脈長を延ばすことで翻訳品質が向上するかどうかを調査すること。
• 長文書にわたり、話者の一貫性（例：代名詞の指代、時制、省略）を保つ、頑健で文脈に配慮した翻訳を可能にすること。

提案手法

• モデルは二重符号化機構を採用しており、局所的文脈とグローバルな文書的文脈を別々に符号化した後、文脈統合ゲートを介して統合する。
• 文脈統合ゲートは、各層で局所的およびグローバル表現のバランスを動的に調整し、ノイズが多いまたは長い文脈への感受性を低減する。
• デコーダーは、部分的に生成された翻訳出力の一部を、グローバルなターゲット側文脈として取り入れ、将来の内容を認識した自己回帰的生成を可能にする。
• 標準的な文単位および文書単位のデータセット上でエンド・ツー・エンドに学習され、別々のデータ分割やファインチューニングを必要としない。
• 文間の依存関係をモデル化するため、セグメント単位の相対的アテンションを採用し、視覚化により遠く離れた文や隣接する文の両方が注目されていることが示された。特に、将来の文はより強い注目度を示している。
• 特に文書レベルのデータが不足する状況でも性能向上を図るため、事前学習済みのソースおよびターゲット言語モデルを用いた転移学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 1つのNMTモデルが、単一文を含む任意の長さの文書を、性能を落とさずに処理できるか。
• RQ2 文書的文脈のサイズを拡大することで翻訳品質が向上するのか、それとも長い文脈に伴うノイズが性能を低下させるのか。
• RQ3 提案されたモデルにおけるアテンション機構は、ソースおよびターゲット文にどのように注目を配分するか。また、文脈利用のパターンとしてどのような特徴が浮き彫りになるか。
• RQ4 文脈に依存しないモデルと比較して、このモデルは代名詞の指代、語彙の一貫性、省略などの話法的現象をどの程度効果的に解消できるか。
• RQ5 モデルのアテンションパターンから、グローバルな文脈が翻訳過程でどのように利用されているか、有意義な洞察が得られるか。

主な発見

• 提案モデルはTED Zh-Enデータセットにおいて、最も強力なベースラインを2.1 BLEUポイント上回り、最先端の性能を達成した。
• IWSLT2017 En-RoおよびIWSLT2017 En-Zhベンチマークでは、以前の文書レベルNMTモデルを1.5〜2.0 BLEUポイント上回った。
• 単一文の入力に対しても優れた性能を維持しており、文書的文脈が欠落する際に性能が低下する既存の文脈に配慮したモデルとは対照的である。
• 分析の結果、モデルは直近の隣接文だけでなく、遠く離れた文に対しても注目しており、特に将来の文に対して強い注目度を示している。これは、長距離文脈の有効な活用を示している。
• 話法的現象の精度が顕著に向上した：指代（deixis）で61.3%、語彙の一貫性で46.1%、省略（屈曲形）で61.0%、省略（動詞節）で35.6%。ベースラインを上回った。
• ソースおよびターゲットの事前学習を用いた転移学習により、TED Zh-Enで21.3 BLEUまで性能が向上し、データ不足を事前学習で補えることが示された。