[論文レビュー] Refining Source Representations with Relation Networks for Neural Machine Translation

Wen Zhang, Jiawei Hu+2 more|arXiv (Cornell University)|Sep 12, 2017

Natural Language Processing Techniques参考文献 25被引用数 6

ひとこと要約

本稿では、関係ネットワーク（RNs）をニューラル機械翻訳（NMT）に統合することで、語の間の関係をモデル化し、RNNの隠れ状態の忘却を軽減することで、ソース表現学習を向上させることを提案する。ペアワイズの関係を介してソース表現を精緻化し、それをアテンション機構に供給することで、コアなエンコーダ・デコーダアーキテクチャを変更せずに、2つの中国語→英語翻訳データセットにおいて強力なベースラインを著しく上回る性能向上を達成した。

ABSTRACT

Although neural machine translation (NMT) with the encoder-decoder framework has achieved great success in recent times, it still suffers from some drawbacks: RNNs tend to forget old information which is often useful and the encoder only operates through words without considering word relationship. To solve these problems, we introduce a relation networks (RN) into NMT to refine the encoding representations of the source. In our method, the RN first augments the representation of each source word with its neighbors and reasons all the possible pairwise relations between them. Then the source representations and all the relations are fed to the attention module and the decoder together, keeping the main encoder-decoder architecture unchanged. Experiments on two Chinese-to-English data sets in different scales both show that our method can outperform the competitive baselines significantly.

研究の動機と目的

• RNNベースのエンコーダーが符号化中に有用な長距離情報の忘却を起こすという制限を解消すること。
• 標準のNMTエンコーダーが語の関係を明示的にモデル化していないという課題を克服すること。
• 語の局所的近傍コンテキストと語同士のグローバルなペアワイズ関係の両方を捉えることで、ソース表現の質を向上させること。
• エンコーダ・デコーダフレームワークを維持しつつ、外部の関係モデリングを用いて表現学習を強化すること。
• 多様な規模の中国語→英語翻訳ベンチマークで一貫した向上を示すこと。

提案手法

• エンコーダーの後に関係ネットワーク（RN）モジュールを統合し、局所的近傍とペアワイズ関係の両方を用いて、ソース語表現を精緻化する。
• RNを用いて、すべてのソース語ペア間の関係を計算し、局所的コンテキストを超えた構造的依存関係を捉える。
• 各語の表現に、その近傍からの情報と計算された関係からの情報を追加する。
• 精緻化されたソース表現とすべてのペアワイズ関係を、アテンション機構とデコーダーに供給する。
• 元のNMTアーキテクチャを保持し、エンコーダ出力にのみ関係的特徴を統合する。
• 標準のNMT目的関数に従い、RNパラメータを共同で最適化するエンドツーエンドの学習を行う。

実験結果

リサーチクエスチョン

• RQ1 語の間の関係をモデル化することで、NMTにおけるソース表現の質が向上するか？
• RQ2 関係ネットワークの統合により、長文におけるRNN隠れ状態の忘却問題が軽減されるか？
• RQ3 関係的特徴は、低リソースおよび高リソースの中国語→英語タスクにおいて、どの程度翻訳性能を向上させるか？
• RQ4 コアアーキテクチャを変更せずに、関係モデリングを標準NMTに効果的に統合できるか？
• RQ5 精緻化された表現は、アテンションアライメントとデコーディング品質にどのように影響を与えるか？

主な発見

• 提案手法は、スケールが異なる2つの中国語→英語翻訳データセットにおいて、競合するベースラインを著しく上回った。
• 関係ネットワークの統合により、局所的およびグローバルな語の関係を捉えることで、ソース表現学習が向上した。
• 関係モデリングを通じて、RNNエンコーダーにおける忘却問題が効果的に軽減され、有用な長距離依存関係が保持された。
• データサイズが異なるデータセットでも一貫した性能向上が得られたため、データスケールに対して頑健であることが示された。
• アテンション機構は豊富な表現から恩恵を受け、より良いアライメントと翻訳品質が実現した。