[論文レビュー] Improving Neural Machine Translation with Pre-trained Representation

Rongxiang Weng, Heng Yu+3 more|arXiv (Cornell University)|Aug 21, 2019

Natural Language Processing Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、モノリンガルデータから文レベルの表現を学習するための双方向自己注意機構言語モデル（BSLM）を提案し、重み付き融合機構と知識移譲パラダイムを用いて、TransformerベースのNMTモデルのソース側およびターゲット側に統合する。この手法は、中国語-英語およびドイツ語-英語翻訳において強力なベースラインを上回る顕著なBLEUスコアの向上を達成しており、特に低リソースな英語-ターキッシュ設定においてより大きな向上を示している。

ABSTRACT

Monolingual data has been demonstrated to be helpful in improving the translation quality of neural machine translation (NMT). The current methods stay at the usage of word-level knowledge, such as generating synthetic parallel data or extracting information from word embedding. In contrast, the power of sentence-level contextual knowledge which is more complex and diverse, playing an important role in natural language generation, has not been fully exploited. In this paper, we propose a novel structure which could leverage monolingual data to acquire sentence-level contextual representations. Then, we design a framework for integrating both source and target sentence-level representations into NMT model to improve the translation quality. Experimental results on Chinese-English, German-English machine translation tasks show that our proposed model achieves improvement over strong Transformer baselines, while experiments on English-Turkish further demonstrate the effectiveness of our approach in the low-resource scenario.

研究の動機と目的

• NMTにおけるモノリンガルデータの未利用状態、特に文レベルの文脈的知識の活用不足に対処すること。
• 事前学習された文の表現が、単語レベルの知識を越えて神経機械翻訳を向上させられるかどうかを検討すること。
• 事前学習された表現をNMTモデルのソース側およびターゲット側に効果的に統合する手法を設計すること。
• 従来の手法が単語レベルの特徴に限定されているか、文の表現における順序的依存関係を適切にモデル化できないという制限を克服すること。
• 本手法が高リソースおよび低リソース翻訳シナリオの両方で有効であることを示すこと。

提案手法

• モノリンガルデータ上で訓練された双方向自己注意機構言語モデル（BSLM）を提案し、文の表現を捉えるために前向きおよび後向きの順序的依存関係を捉える。
• 各Transformer層に対して層別に融合重みを学習することで、BSLM表現をエンコーダーに重み付き融合機構で統合する。
• 部分翻訳出力で微調整することで、BSLMからデコーダーへのタスク固有の知識移譲パラダイムを適用する。
• BSLMで二重スレッドアーキテクチャを採用し、別々の前向きおよび後向き自己注意ネットワークを用いて、順序的文脈をより効果的にモデル化する。
• 元のアーキテクチャを変更せずに事前学習済み表現をTransformerフレームワークに統合することで、さまざまなNMTモデルとの互換性を確保する。
• 大規模なモノリンガル文に対してBSLMを訓練し、融合表現を用いてNMTモデルをエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 モノリンガルデータから得られる文レベルの文脈的表現は、神経機械翻訳の性能向上に寄与するか？
• RQ2 事前学習された文の表現を、NMTモデルのエンコーダーおよびデコーダーに効果的に統合する方法は何か？
• RQ3 本手法は、単語レベルの知識やモノリンガルソースからの合成データのみを用いる従来の手法を上回るか？
• RQ4 事前学習済み表現の統合は、低リソース翻訳設定においてより効果的か？
• RQ5 双方向自己注意モデルは、一方向またはRNNベースのモデルに比べて、NMTにおける文の表現の順序的依存関係をより良く捉えられるか？

主な発見

• 中国語-英語翻訳タスクにおいて、本手法はベースラインのTransformerに対して1.22のBLEUスコア向上を達成した。
• ドイツ語-英語翻訳タスクでは、Transformerベースラインと比較して0.91ポイントのBLEU向上を達成した。
• 低リソースな英語-ターキッシュ設定では、顕著なBLEUスコア上昇2.14ポイントを達成し、優れた一般化能力を示した。
• ソース側での知識移譲パラダイムはやや良い効果を示したが、不完全な部分翻訳を使用した場合、ターゲット側での重み付き融合機構により0.66のBLEUスコア低下を示した。
• 融合重みの可視化により、BSLM層とTransformer層の間に強い相関関係が確認され、効果的なアライメントと層別表現学習が行われていることが示された。