[論文レビュー] Augmenting Neural Machine Translation with Knowledge Graphs

Diego Moussallem, Mihael Arčan+2 more|arXiv (Cornell University)|Feb 23, 2019

Natural Language Processing Techniques参考文献 62被引用数 16

ひとこと要約

この論文は、知識グラフ埋め込み（KGE）とエンティティリンク（EL）をRNNおよびTransformerアーキテクチャの両方に統合することで、コア構造を変更せずにエンティティおよび用語の翻訳を向上させるKG-NMTと呼ばれる知識グラフ拡張型ニューラル機械翻訳フレームワークを提案する。この手法は、WMT英語-ドイツ語翻訳ベンチマーク（2014–2018年）において一貫した+3 BLEU、METEOR、chrF3の向上を達成し、特に未知語（OOV）語の翻訳が向上した。RNNはTransformerよりもKGE特徴の活用が効率的であるため、RNNの方がより大きな恩恵を受けていた。

ABSTRACT

While neural networks have been used extensively to make substantial progress in the machine translation task, they are known for being heavily dependent on the availability of large amounts of training data. Recent efforts have tried to alleviate the data sparsity problem by augmenting the training data using different strategies, such as back-translation. Along with the data scarcity, the out-of-vocabulary words, mostly entities and terminological expressions, pose a difficult challenge to Neural Machine Translation systems. In this paper, we hypothesize that knowledge graphs enhance the semantic feature extraction of neural models, thus optimizing the translation of entities and terminological expressions in texts and consequently leading to a better translation quality. We hence investigate two different strategies for incorporating knowledge graphs into neural models without modifying the neural network architectures. We also examine the effectiveness of our augmentation method to recurrent and non-recurrent (self-attentional) neural architectures. Our knowledge graph augmented neural translation model, dubbed KG-NMT, achieves significant and consistent improvements of +3 BLEU, METEOR and chrF3 on average on the newstest datasets between 2014 and 2018 for WMT English-German translation task.

研究の動機と目的

• ニューラル機械翻訳（NMT）における、名前付きエンティティや用語的表現を含む未知語（OOV）語の持続的な課題に対処すること。
• 知識グラフ（KG）が、まれなまたは未学習のエンティティのための意味的特徴抽出を向上させられるかどうかを調査すること。
• NMTのコアアーキテクチャを変更せずに、再帰的（RNN）および非再帰的（自己注意機構）NMTアーキテクチャの両方におけるKG拡張の有効性を評価すること。
• BLEU、METEOR、chrF3の指標に基づき、KG拡張モデルと単語埋め込みのみのモデルおよびベースラインNMTシステムの性能を比較すること。
• RNNのような特定のアーキテクチャがKG統合によりより大きな恩恵を受ける理由を、特にKGE表現学習の観点から分析すること。

提案手法

• 本手法は、元のニューラルネットワークアーキテクチャを変更せずに、KGEとELの出力を特徴連結によりNMTモデルの入力表現に統合する。
• 2つの拡張戦略を評価した：(1) EL + KGE、および (2) 意味的KGE（SemKGE）、後者は知識グラフからのエンティティ固有の埋め込みを用いる。
• 本アプローチは、語彙ベースおよびBPEベースのNMTモデル（RNNおよびTransformerを含む）に適用され、複数のWMT新聞テストセット（2014–2018年）で評価された。
• エンティティリンクは曖昧な語をKGエンティティに解決し、KGEはエンティティおよび関係の密なベクトル表現を提供し、入力トークンの意味的文脈を豊かにする。
• RNNではReLUおよびLSTM活性化関数が使用され、これらの関数がKGE統合に与える影響を分析した。特に、TransformerにおけるReLUがKGE特徴の学習を制限することが判明した。
• 評価には標準指標（BLEU、METEOR、chrF3）が用いられ、OOVエンティティにおける翻訳品質の手動分析も実施された。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ埋め込みは、ニューラル機械翻訳において、特に名前付きエンティティや用語的表現を含む未知語（OOV）語の翻訳を向上させられるか？
• RQ2 知識グラフの統合は、RNNやTransformerのような異なるNMTアーキテクチャの両方で一貫した性能向上をもたらすか？
• RQ3 RNNベースのモデルがKG拡張によりより大きな恩恵を受けるのはなぜか、特にTransformerに比べて？（注：後者は全体的な性能が優れているが）
• RQ4 KG拡張NMTは、単語埋め込みのみを使用するモデルと比較して、エンティティの翻訳品質においてどの程度優れているか？
• RQ5 EL+KGEとSemKGEの異なるKG統合戦略は、翻訳性能およびOOV語の取り扱いにどの程度の影響を及ぼすか？

主な発見

• KG-NMTは、WMT 2014–2018年の英語-ドイツ語新聞テストセット全体で平均して+3 BLEU、METEOR、chrF3の向上を達成し、顕著で安定した向上を示した。
• RNNベースのKG-NMT（SemKGE）モデルは、KG統合後、すべてのテストセットでTransformerベースラインを上回り、newstest2018では30.55 BLEUを達成した。
• TransformerモデルにおけるKG拡張の性能は、ベースラインを下回った。これは、ReLU活性化関数が自己注意機構におけるKGE特徴の学習を効果的に妨げている可能性を示唆している。
• 手動評価では、KG-NMTが「UK」や「Coastguard」のようなエンティティを正しく翻訳した一方で、ベースラインモデルは失敗していた。一方、単語埋め込みは「Principal」を「Wichtigste」（重要なもの）に誤って翻訳した。
• SemKGE戦略はEL+KGEおよび単語埋め込みを上回り、OOV語の翻訳においてエンティティ固有のKGE表現が一般的な埋め込みよりも効果的であることを示した。
• 集計指標では単語埋め込みとKGEの間に有意な差は認められなかったが、手動分析により単語埋め込みはエンティティで失敗した一方で、KGEは成功していた。これは、エンティティに特化した知識の重要性を強調している。