[論文レビュー] Exploiting Sentential Context for Neural Machine Translation

Xing Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Jun 4, 2019

Natural Language Processing Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、Transformerデコーダーにグローバルなソース側文表現を統合することでニューラル機械翻訳を向上させるため、浅いおよび深い文脈的コンテキスト機構を提案する。トップレイヤーや複数レイヤーのエンコーダ出力を用いてコンテキストベクトルを形成することで、英語→ドイツ語および英語→フランス語のベンチマークにおいて翻訳性能が向上し、深いコンテキストが常に浅いコンテキストおよびベースラインを上回る。

ABSTRACT

In this work, we present novel approaches to exploit sentential context for neural machine translation (NMT). Specifically, we first show that a shallow sentential context extracted from the top encoder layer only, can improve translation performance via contextualizing the encoding representations of individual words. Next, we introduce a deep sentential context, which aggregates the sentential context representations from all the internal layers of the encoder to form a more comprehensive context representation. Experimental results on the WMT14 English-to-German and English-to-French benchmarks show that our model consistently improves performance over the strong TRANSFORMER model (Vaswani et al., 2017), demonstrating the necessity and effectiveness of exploiting sentential context for NMT.

研究の動機と目的

• グローバルな文脈的コンテキストをニューラル機械翻訳に統合することで翻訳品質を向上させる有効性を調査すること。
• エンコーダーレイヤーからのソース側文レベル表現が、包括的な文理解を提供することでデコーディングを向上させることを検討すること。
• より豊かな文法的および意味的情報を捉えるために、浅い（トップレイヤー）および深い（複数レイヤー）文脈的コンテキスト戦略を比較すること。
• 豊富なコンテキスト表現が、より良い言語知識の符号化および翻訳性能の向上に寄与することを検証すること。

提案手法

• グローバルプーリング関数を用いて、唯一の最上位エンコーダーレイヤーからの表現を要約することで、浅い文脈的コンテキストを提案する。
• すべてのエンコーダーレイヤーからの文レベル表現を連結および全結合ネットワークを介して集約することで、深い文脈的コンテキストを導入する。
• 専用の全結合ネットワークを介して、各レイヤーでデコーダーの隠れ状態とコンテキストベクトルを連結することで、コンテキストベクトルをデコーダーに統合する。
• NMTおよびコンテキスト表現部の両方を同時に最適化することで、モデル全体をエンドツーエンドで学習する。
• ベースラインと同一のTransformerアーキテクチャを用い、コンテキストベクトルを入力に追加する点を除いて変更しない。
• デコーダーの各レイヤーにコンテキストインジェクション機構を適用することで、デコーディング中におけるグローバル文情報への一貫したアクセスを確保する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーから得られるグローバルな文脈的コンテキストベクトルを統合することで、ニューラル機械翻訳の性能が向上するか？
• RQ2 最上位エンコーダーレイヤーのみを用いる（浅いコンテキスト）ことで、標準的なTransformerに比べて有意義な改善が得られるか？
• RQ3 すべてのエンコーダーレイヤーからの表現を集約することで（深いコンテキスト）、浅いコンテキストよりも優れた性能が得られるか？
• RQ4 提案されたコンテキスト表現は、文法的・意味的知識の符号化をどの程度向上させるか？
• RQ5 文脈的コンテキストによる改善は、異なる言語対および翻訳タスクにおいて一貫しているか？

主な発見

• 深い文脈的コンテキスト戦略は、WMT14の英語→ドイツ語および英語→フランス語翻訳タスクにおいて、最も高いBLEUスコアを達成し、ベースラインのTransformerおよび浅いコンテキストの変種を上回った。
• 英語→ドイツ語翻訳タスクでは、深いコンテキストモデルがBLEUスコア30.76を達成し、ベースラインのTransformer（30.52）および浅いコンテキスト（30.62）を上回った。
• 英語→フランス語翻訳タスクでは、深いコンテキストモデルがBLEUスコア37.25を達成したのに対し、ベースラインは37.10、浅い変種は37.18であった。
• 言語的プローブタスクの結果、深い文脈的コンテキストは意味的プローブタスクで高い性能（75.32 vs. 74.61）を示し、意味情報の符号化が向上していることを示した。
• 浅いコンテキストは意味的タスクでのみ向上（75.33 vs. 74.61）を示し、表面的特徴や文法的特徴よりも意味的コンテンツをより多く捉えていると考えられる。
• 深いコンテキスト表現は、全プローブカテゴリで最高の平均正答率（75.32）を達成し、浅いモデルおよびベースラインモデルと比較してより豊かな言語的表現を有していることを確認した。