[論文レビュー] Fusing Recency into Neural Machine Translation with an Inter-Sentence Gate Model

Shaohui Kuang, Deyi Xiong|arXiv (Cornell University)|Jun 12, 2018

Natural Language Processing Techniques参考文献 25被引用数 17

ひとこと要約

本稿では、共有エンコーダーと学習可能なゲート機構を用いて、前の文からの文脈情報を統合することで、ニューラル機械翻訳の翻訳の一貫性と整合性を向上させる文間ゲートモデルを提案する。このモデルは、文書全体の学習を必要とせずに文間依存関係をモデル化することで、NIST中国語-英語ベンチマークで最大2.0 BLEUポイントの向上を達成した。

ABSTRACT

Neural machine translation (NMT) systems are usually trained on a large amount of bilingual sentence pairs and translate one sentence at a time, ignoring inter-sentence information. This may make the translation of a sentence ambiguous or even inconsistent with the translations of neighboring sentences. In order to handle this issue, we propose an inter-sentence gate model that uses the same encoder to encode two adjacent sentences and controls the amount of information flowing from the preceding sentence to the translation of the current sentence with an inter-sentence gate. In this way, our proposed model can capture the connection between sentences and fuse recency from neighboring sentences into neural machine translation. On several NIST Chinese-English translation tasks, our experiments demonstrate that the proposed inter-sentence gate model achieves substantial improvements over the baseline.

研究の動機と目的

• 標準NMTシステムが文を独立して処理するため、文間依存関係のモデル化が不足している問題に対処すること。
• 文間の整合性と語彙的結束を捉えることで、文書レベルの翻訳品質を向上させること。
• 文書全体の監視を必要とせず、前の文の文脈を現在の文の翻訳に統合できる軽量で学習可能なメカニズムを開発すること。
• 追加パラメータを最小限に抑えながら、文間での意味的一致性を維持すること。
• ソース側の文間情報のみで翻訳の整合性と正確性を顕著に向上させられることを示すこと。

提案手法

• 2つの隣接する文を同時に処理する共有双方向RNNエンコーダーを用い、前の文（a）と現在の文（b）の文脈ベクトルを生成する。
• 文間ゲート機構を適用して、前の文（a）から現在の文（b）への情報の流れを動的に制御し、統合された文脈ベクトルを生成する。
• ゲート機構は、学習可能なゲート関数を用いてaとbの重み付き組み合わせを計算し、関連する文間依存関係に選択的に注目できるようにする。
• 統合された文脈ベクトルを用いてデコーダーの隠れ状態を更新し、文脈に配慮したデコードを可能にする。
• 各文が異なるペアで前の文および現在の文として機能するように、文のペアでモデルを学習させ、データ効率を最大化する。
• 文の意味的類似度を評価するため、単語の分散表現（Word2Vec、400次元）をモノリンガルコーパスで事前学習し、整合性分析に用いる。

実験結果

リサーチクエスチョン

• RQ1 文間依存関係のモデル化は、ニューラル機械翻訳における翻訳品質を向上させることができるか？
• RQ2 学習可能なゲート機構は、前の文からの文脈を現在の文の翻訳に効果的に統合できるか？
• RQ3 提案されたモデルは、隣接する文間における語彙的結束と意味的一致性を向上させることができるか？
• RQ4 標準NMTベースラインと比較して、モデルは翻訳の整合性をどの程度向上させることができるか？
• RQ5 文書全体の学習データを必要としない軽量なソース側専用メカニズムは、顕著な向上を達成できるか？

主な発見

• 提案された文間ゲートモデルは、NMTベースラインに対して一貫性があり顕著な向上を示し、NIST中国語-英語翻訳タスクで最大2.0 BLEUポイントの向上を達成した。
• 文の代表表現間の平均コサイン類似度が上昇しており、文レベルの整合性が向上していることが裏付けられている（例：NIST05では0.4816 vs. 0.4677）。
• 推論例では、前の文の文脈を活用して曖昧な翻訳を解消しており、例えば政治的トピックの文脈では「動作」を正しく「action」と翻訳している。
• 同義語や関連語（例：「駐韓」と「駐南韓」）に対しても一貫した翻訳を生成しており、ベースラインで見られる不整合を回避している。
• 人間の翻訳類似度スコアはベースラインを上回っており、モデルの性能は整合性指標において人間の基準に近づいている。
• 明示的な話法的・トピックモデリングコンponentsがなくても、意味的整合性の観点から文間関係を効果的にモデル化できている。