[論文レビュー] Hybrid Self-Attention Network for Machine Translation

Kaitao Song, Xu Tan+2 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 22被引用数 12

ひとこと要約

本論文は、タスク固有のマスクと圧縮ゲートを用いてグローバル、ローカル、左・右コンテキストの注意を統合することで、Transformerベースの機械翻訳の性能を向上させる、新しい自己注意メカニズムであるハイブリッド自己注意ネットワーク（HySAN）を提案する。この手法は、最小限の追加パラメータで、WMT17中国語-英語翻訳で最大1.07 BLEU、IWSLT14ドイツ語-英語翻訳で1.0 BLEUの向上を達成し、最先端の性能を実現した。

ABSTRACT

The encoder-decoder is the typical framework for Neural Machine Translation (NMT), and different structures have been developed for improving the translation performance. Transformer is one of the most promising structures, which can leverage the self-attention mechanism to capture the semantic dependency from global view. However, it cannot distinguish the relative position of different tokens very well, such as the tokens located at the left or right of the current token, and cannot focus on the local information around the current token either. To alleviate these problems, we propose a novel attention mechanism named Hybrid Self-Attention Network (HySAN) which accommodates some specific-designed masks for self-attention network to extract various semantic, such as the global/local information, the left/right part context. Finally, a squeeze gate is introduced to combine different kinds of SANs for fusion. Experimental results on three machine translation tasks show that our proposed framework outperforms the Transformer baseline significantly and achieves superior results over state-of-the-art NMT systems.

研究の動機と目的

• 標準の自己注意が相対的な位置順序やローカルコンテキストを捉えることのできない制限を解消すること。
• 特に曖昧な文構造において、トークンの左・右コンテキストを区別できないTransformerの欠陥を改善すること。
• グローバル、ローカル、方向性の多スケールの意味的情報を抽出することで表現学習を向上させること。モデルの複雑さを著しく増加させない。
• 複数の注意ブランチを統合しながら計算効率を維持する、効率的でパラメータが軽いメカニズムを設計すること。
• 多様な言語対およびモデルスケールにおいて優れた翻訳性能を達成すること。

提案手法

• HySANモジュールは、それぞれが異なるマスクを適用することで、特定のコンテキスト的情報（グローバル、ローカル、左コンテキスト、右コンテキスト）を抽出する複数の並列な注意ブランチを導入する。
• 各注意ブランチは、学習可能なマスクを用いて、注意計算を特定の空間的または逐次的コンテキストに制限することで、長距離依存関係とローカルパターンの両方を捉える。
• 圧縮ゲート機構は、入力特徴に基づく学習可能な重み付けメカニズムを用いて、異なる注意ブランチの出力を動的に統合し、統合の関連性を向上させる。
• この手法はプラグアンドプレイであり、標準のTransformerエンコーダ・デコーダアーキテクチャへのわずかな修正で実装可能で、パラメータの追加が最小限（1%未満）である。
• 注意メカニズムはエンコーダおよびデコーダの両方で適用され、相対的な位置情報の維持のため、位置埋め込みが保持される。
• 標準的な交差エントロピー損失を用いてエンドツーエンドで学習され、Adam最適化法を用いた標準的なバックプロパゲーションで最適化される。

実験結果

リサーチクエスチョン

• RQ1 グローバル、ローカル、方向性コンテキストを統合するハイブリッド注意メカニズムは、ニューラル機械翻訳における系列モデリングを向上させることができるか？
• RQ2 マスク付き自己注意ブランチは、標準の自己注意と比較して、相対的な位置関係やローカル依存関係の情報をどれほど効果的に捉えることができるか？
• RQ3 圧縮ゲート機構は、パラメータ効率的に多様な注意ブランチ間の特徴統合を向上させることができるか？
• RQ4 HySANは、多様な言語対およびモデルスケールにおいてどれほど翻訳性能を向上させるか？
• RQ5 提案手法は、計算オーバーヘッドとパラメータ増加を最小限に抑えながら、最先端の結果を達成できるか？

主な発見

• 小規模モデル設定において、IWSLT14ドイツ語-英語翻訳タスクで、Transformerベースラインに対して1.0 BLEUポイントの向上を達成した。
• WMT14英語-ドイツ語タスクでは、ベースモデル設定で0.6 BLEUポイント、ラージモデル設定で0.4 BLEUポイントの性能向上を達成した。
• WMT17中国語-英語翻訳タスクでは、Transformerベースラインに対して1.07 BLEUポイントの向上を達成し、より複雑なアンサンブルシステムをも上回った。
• 20,000ステップを過ぎてからベースラインよりも速く収束し、約85,000ステップでピーク性能に達するなど、訓練ダイナミクスの向上が示された。
• 注意可視化により、ローカルおよび方向性注意ブランチが集中的で非一様な注意パターンを学習していることが確認され、部分的および方向性コンテキストの抽出能力が裏付けられた。
• モデルパラメータは1%未満の増加に抑えられ、計算オーバーヘッドも無視できるほど小さく、高い効率性とスケーラビリティを示した。