[論文レビュー] Phrase-Based Attentions

Phi Xuan Nguyen, Shafiq Joty|arXiv (Cornell University)|Sep 30, 2018

Topic Modeling参考文献 16被引用数 10

ひとこと要約

本論文では、トランスフォーマー・モデルがトークンだけでなくn-gramフレーズにも注目できるように拡張するフレーズベースのアテンション機構を提案する。これにより、より頑健なフレーズ対応アライメントが可能になる。新しいアテンション構造（ConvKV、QueryK、およびインタラーリーブド異種アテンション）を導入することで、英語→ドイツ語翻訳で1.3 BLEU、ドイツ語→英語翻訳で0.5 BLEUの性能向上を達成した。

ABSTRACT

Most state-of-the-art neural machine translation systems, despite being different in architectural skeletons (e.g. recurrence, convolutional), share an indispensable feature: the Attention. However, most existing attention methods are token-based and ignore the importance of phrasal alignments, the key ingredient for the success of phrase-based statistical machine translation. In this paper, we propose novel phrase-based attention methods to model n-grams of tokens as attention entities. We incorporate our phrase-based attentions into the recently proposed Transformer network, and demonstrate that our approach yields improvements of 1.3 BLEU for English-to-German and 0.5 BLEU for German-to-English translation tasks on WMT newstest2014 using WMT'16 training data.

研究の動機と目的

• フレーズベースのSMTで重要なフレーズ対応アライメントを無視するトークンベースのアテンションの限界を是正する。
• 最先端のトランスフォーマー・モデルにフレーズ対応アライメントを統合し、構成的・非構成的フレーズをよりよく捉える。
• トークン対トークン、トークン対フレーズ、フレーズ対トークン、フレーズ対フレーズの4つのマッピングタイプをすべてサポートするアテンション機構を設計する。
• エンドツーエンドのNMTにおいて、標準的なトークンベースのアテンションを超えて、フレーズレベルのアテンションが翻訳品質を向上させることを実証する。
• レイヤー間でフレーズレベルの依存関係をモデル化することで、より解釈可能で頑健なアテンションパターンを実現する。

提案手法

• 2つのコアなフレーズベースのアテンション機構を提案：ConvKV（畳み込みカーネルを用いてフレーズレベルのキーと値を生成）とQueryK（フレーズレベルのクエリ表現を学習）。
• 3つのアテンション構造を設計：同種（クエリとキーの両方が同じn-gramタイプ）、異種（混合n-gramタイプ）、インタラーリーブド異種（4つのマッピングタイプを統合したフレームワーク）。
• トランスフォーマーのすべてのマルチヘッドアテンション層にフレーズベースのアテンションを統合し、元のアーキテクチャの自己アテンションおよびクロスアテンション機構を維持する。
• トークン埋め込みから変動長のn-gramを生成するための学習可能なパラメータを用い、アテンションが可変長n-gramに注目できるようにする。
• 標準的なアテンション計算との互換性を保つために、フレーズレベルのアテンションスコアにソフトマックス正規化を適用する。
• WMT’16の学習データを用いて、標準的なNMT目的関数（交差エントロピー損失）に基づき、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 フレーズベースのアテンション機構は、n-gramアライメントを明示的にモデル化することで、ニューラル機械翻訳の性能を向上させることができるか？
• RQ2 同種、異種、インタラーリーブドの異なるアテンション構造は、多様なフレーズ対応アライメントパターンをどのように捉えているか？
• RQ3 フレーズレベルのアテンションの導入により、トークンレベルのアテンションと比較して、より解釈可能または頑健なアテンション分布が得られるか？
• RQ4 トランスフォーマーのどのレイヤーでフレーズ対フレーズおよびその他のフレーズアテンションパターンが最も強く現れるか？
• RQ5 アーキテクチャの大規模な見直しを伴わず、アテンション機構の変更のみでフレーズベースのアテンションがBLEUスコアを向上させられるか？

主な発見

• インタラーリーブド異種アテンション機構が最も高い向上を示し、英語→ドイツ語翻訳で+1.33 BLEU、ドイツ語→英語翻訳で+0.48 BLEUの向上を達成した。
• フレーズ対フレーズアテンションは中位レイヤー（例：レイヤー3）で最も活発で、アテンション活性化の96.16％を占めており、フレーズレベルのアライメントがネットワークの初期段階で学習されていることを示している。
• トップレイヤー（例：レイヤー6）ではトークン対トークンアテンションが支配的であり、これはトークンを逐次生成する自己回帰的生成プロセスと一致する。
• 異種モデルは同種モデルを上回り、特に3-gram成分を含む場合に顕著で、n-gramタイプの選択の柔軟性が不要なアライメントからのノイズを低減することが示唆された。
• インタラーリーブドおよび異種設定において、QueryKはConvKVを上回った。これは、学習可能なフレーズクエリが固定カーネルベースのキー生成よりも効果的であることを示している。
• アテンション機構はレイヤーを介してフレーズレベルからトークンレベルへの移行を成功させ、トランスフォーマー内の階層的処理パターンを反映している。