[論文レビュー] Exploiting Cross-Sentence Context for Neural Machine Translation

Longyue Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Apr 14, 2017

Natural Language Processing Techniques参考文献 18被引用数 30

ひとこと要約

本稿では、階層的RNNを用いて直前のソース文を要約し、グローバルな文脈表現Dを生成する、文間文脈に配慮したニューラル機械翻訳モデルを提案する。このDは、初期化または補助的文脈機構を介してNMTに統合される。提案手法は、大規模な中国語-英語翻訳タスクにおいて翻訳品質を最大+2.1 BLEUポイント向上させ、曖昧さや一貫性の欠如に関する誤りを顕著に低減する。

ABSTRACT

In translation, considering the document as a whole can help to resolve ambiguities and inconsistencies. In this paper, we propose a cross-sentence context-aware approach and investigate the influence of historical contextual information on the performance of neural machine translation (NMT). First, this history is summarized in a hierarchical way. We then integrate the historical representation into NMT in two strategies: 1) a warm-start of encoder and decoder states, and 2) an auxiliary context source for updating decoder states. Experimental results on a large Chinese-English translation task show that our approach significantly improves upon a strong attention-based NMT system by up to +2.1 BLEU points.

研究の動機と目的

• 単一文を超えた文書レベルの文脈を活用することで、ニューラル機械翻訳における曖昧さと一貫性の欠如を解消すること。
• 履歴的なソース側文脈が、系列対系列NMTモデルの翻訳品質を向上させるかどうかを調査すること。
• アーキテクチャの大幅な変更を要せず、標準のアテンションベースNMTアーキテクチャに文間文脈を柔軟に統合できるフレームワークを開発すること。
• 初期化による状態のウォームスタートと、ゲーティングあり・なしの補助的文脈の使用を含む、異なる統合戦略の有効性を評価すること。
• グローバル文脈が語義の曖昧さ解消や文間における語彙的一致性の維持に寄与することを実証すること。

提案手法

• 階層的RNNアーキテクチャを採用：文レベルのRNNが各直前のソース文を処理し、文の表現の系列を文書レベルのRNNがグローバル文脈ベクトルDに要約する。
• グローバル文脈ベクトルDを、エンコーダー、デコーダー、または両者を初期化するために使用し、標準のゼロ初期化に代えて文書レベルの文脈を組み込むウォームスタートを実現する。
• デコーディング中に、アテンション機構からの標準的な文内文脈ベクトルciと併せてDを用いる補助的文脈機構を導入する。
• 各デコーディングステップで、グローバル文脈ベクトルの寄与度を動的に制御するため、学習されたシグモイドゲートを用いたコンテキストゲート機構を実装する。
• コアのアテンションベースエンコーダ-デコーダフレームワークを変更せずに、標準のNMT目的関数と統合してモデルを同時に学習する。
• グローバル文脈と文内文脈の両方のパラメータ行列を別々に定義し、2種類の文脈間の干渉を防ぐための独立制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 文間文脈をモデル化することで、ニューラル機械翻訳における翻訳性能を顕著に向上させられるか？
• RQ2 ウォームスタートによるエンコーダー/デコーダー状態の初期化と補助的文脈の使用のどちらが、より大きな向上をもたらすか？
• RQ3 コンテキストゲートの導入により、デコーディング中にグローバル文脈を効果的に選択的に使用できるようになるか？
• RQ4 文間文脈の導入により、翻訳出力における曖昧さや一貫性の欠如はどの程度低減されるか？
• RQ5 K > 1の複数の直前文を文脈として使用した場合、モデルの性能はどの程度向上するか？

主な発見

• 提案モデルは、大規模な中国語-英語翻訳タスクにおいて、強力なアテンションベースNMTベースラインと比較して最大+2.1 BLEUポイントの翻訳性能向上を達成した。
• コンテキストゲートを備えた補助的文脈機構が最も高い向上を示し、グローバル文脈統合における動的制御の価値を実証した。
• ウォームスタート戦略単体でも性能向上が確認され、文書レベルの文脈を初期化に組み込むことで意味のある誘導バイアスが得られることを示した。
• 手動による誤り分析では、76%の曖昧さ関連誤りと75%の一貫性関連誤り（語彙的、時制的、定義的など）を効果的に是正した。
• 語義の曖昧さ解消においても効果を示し、例えば「貪官」が直前に登場した場合に「腐官」を「corrupt officials」と正しく翻訳するなど、文脈に依存した適切な翻訳を実現した。
• 改善の一方で、約21%の新しい誤りが発生したため、古くからの誤りを是正するのと新規誤りを生成するというトレードオフが存在することが示された。