[論文レビュー] Modeling Recurrence for Transformer

Jie Hao, Xing Wang+4 more|arXiv (Cornell University)|Apr 5, 2019

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文では、変換器モデルの再帰性の欠如が翻訳性能に与える影響を是正するため、追加の再帰エンコーダーを導入する手法を提案している。標準RNNまたは新規の注意型再帰ネットワーク（ARN）を統合することで、WMT14およびWMT17ベンチマークにおいて翻訳品質が向上し、浅いARNバージョンがより深いバージョンを上回り、構文的表現学習の強化も示している。

ABSTRACT

Recently, the Transformer model that is based solely on attention mechanisms, has advanced the state-of-the-art on various machine translation tasks. However, recent studies reveal that the lack of recurrence hinders its further improvement of translation capacity. In response to this problem, we propose to directly model recurrence for Transformer with an additional recurrence encoder. In addition to the standard recurrent neural network, we introduce a novel attentive recurrent network to leverage the strengths of both attention and recurrent networks. Experimental results on the widely-used WMT14 English-German and WMT17 Chinese-English translation tasks demonstrate the effectiveness of the proposed approach. Our studies also reveal that the proposed model benefits from a short-cut that bridges the source and target sequences with a single recurrent layer, which outperforms its deep counterpart.

研究の動機と目的

• 変換器モデルが再帰性を欠いているため、順序依存性を十分に捉えられないという制限を是正すること。
• 変換器アーキテクチャに再帰性を統合することで、翻訳性能を向上させること。
• 新規の注意型再帰ネットワーク（ARN）が、標準RNNよりも注意メカニズムと再帰性を効果的に統合できるかどうかを検証すること。
• 再帰エンコーダーの深さと統合戦略がモデル性能に与える影響を評価すること。
• 提案モデルが、特に構文構造に関して、より情報豊かな表現を学習しているかどうかを分析すること。

提案手法

• 入力語彙埋め込みを逐次処理する追加の再帰エンコーダーを導入し、隠れ状態の系列を出力する。
• 標準RNNと新規の注意型再帰ネットワーク（ARN）を用いて再帰エンコーダーを実装し、注意によって抽出された特徴ベクトルに基づいて表現を再修正する。
• 再帰エンコーダーの出力を残差接続を介して変換器デコーダーに供給し、統合戦略は深さやレイヤー接続の仕方で変化させる。
• 標準変換器エンコーダーと再帰エンコーダーの表現を統合するためのゲート付き融合機構を導入し、プローブタスクに用いる。
• 標準変換器の学習プロトコルに従い、WMT14 英語→ドイツ語およびWMT17 中国語→英語翻訳タスクでモデルを学習する。
• 言語的プローブタスクを実施し、学習済みエンコーダー出力の構文的・意味的表現品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰エンコーダーの追加により、変換器モデルの翻訳性能が向上するか？
• RQ2 提案された注意型再帰ネットワーク（ARN）は、標準RNNよりも変換器内での再帰性モデリングにおいて優れているか？
• RQ3 再帰エンコーダーの深さがモデル性能に与える影響は何か？
• RQ4 統合戦略（例：1層目 vs. 深い層、トップ層への供給 vs. 全層への供給）の違いが翻訳品質に与える影響は何か？
• RQ5 再帰エンコーダーからの表現は、特に構文構造に関して、より情報豊かな言語的特徴を捉えているか？

主な発見

• 再帰エンコーダーを備えた提案モデルは、WMT14 英語→ドイツ語およびWMT17 中国語→英語翻訳タスクにおいて、一貫してBLEUスコアが向上している。
• 1層のARN実装が、より深いARNおよびRNNバージョンを上回っており、浅い再帰構造がより効果的であることが示唆されている。
• 最短経路統合戦略（再帰エンコーダー出力をデコーダーのトップ層にのみ供給）が最も優れた性能を示し、より深い・広い統合スキームを上回っている。
• 言語的プローブタスクの結果、ARNを搭載したモデルは「TrDep」や「Toco」などの構文構造タスクで顕著に精度が向上している。
• 1層のARNバージョンは「WC」や「SoMo」のような表面レベルのプローブタスクでも精度が向上しており、より良い語レベルおよび意味的表現学習が実現していることが示唆されている。
• ARNを搭載したモデルは、すべてのプローブタスクでベースラインの変換器を上回る精度を達成しており、より情報豊かで構造的な表現が学習されていることを確認している。