[論文レビュー] Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel

Yao-Hung Hubert Tsai, Shaojie Bai+3 more|arXiv (Cornell University)|Aug 30, 2019

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、入力間の類似度スコアを活用するカーネルスムージングとしてのTransformerのアテンションメカニズムを、カーネルに基づく再定式化を提案する。対称カーネル積を用いてアテンションの構成要素を統一的に理解できるようにし、パラメータ数を削減するとともに、ニューラル機械翻訳および系列予測タスクで競争力ある性能を達成し、解釈性と設計の柔軟性が向上する。

ABSTRACT

Transformer is a powerful architecture that achieves superior performance on various sequence learning tasks, including neural machine translation, language understanding, and sequence prediction. At the core of the Transformer is the attention mechanism, which concurrently processes all inputs in the streams. In this paper, we present a new formulation of attention via the lens of the kernel. To be more precise, we realize that the attention can be seen as applying kernel smoother over the inputs with the kernel scores being the similarities between inputs. This new formulation gives us a better way to understand individual components of the Transformer's attention, such as the better way to integrate the positional embedding. Another important advantage of our kernel-based formulation is that it paves the way to a larger space of composing Transformer's attention. As an example, we propose a new variant of Transformer's attention which models the input as a product of symmetric kernels. This approach achieves competitive performance to the current state of the art model with less computation. In our experiments, we empirically study different kernel construction strategies on two widely used tasks: neural machine translation and sequence prediction.

研究の動機と目的

• Transformerにおけるアテンションメカニズムを理解するための統一的でカーネルベースの理論的枠組みを提供すること。
• アテンションメカニズムに最も効果的なカーネル形式および位置埋め込みの統合戦略を特定すること。
• 計算コストを低減しつつ高い性能を維持する新しいアテンション変種を開発すること。
• カーネル学習の観点から、アテンションメカニズムの体系的分類と設計を可能にすること。

提案手法

• 自己アテンションメカニズムを、入力トークン間の類似度（カーネル）スコアから導出されるアテンション重みを持つカーネルスムージングとして再定式化する。
• 対称カーネルの積として入力をモデル化する新しいアテンション変種を提案し、パラメータ数を削減しながらも性能を維持する。
• 位置埋め込みをカーネル構築を通じて統合し、非位置的および位置的カーネル関数の積を特に用いる。
• 無限次元の特徴マップを持つことで知られる指数関数的およびRBFカーネルを、性能評価のための主要なカーネル形式として用いる。
• カーネル定式化を用いて、Vaswaniら（2017）、Shawら（2018）、Daiら（2019）のアテンション変種を分析・分類する。
• 位置埋め込みの統合位置（クエリ、キー、バリュー、またはカーネル）を変更したアブレーションスタディを実施し、最適な統合方法を特定する。

実験結果

リサーチクエスチョン

• RQ1 Transformerのアテンションメカニズムは、カーネル手法の観点からどのように再解釈できるか？
• RQ2 RBFや指数関数的といったカーネル形式（例：RBF、指数関数的）の中で、アテンションメカニズムで最も優れた性能を発揮するのはどれか？
• RQ3 カーネルベースのアテンションメカニズムにおいて、位置埋め込みを統合すべき最適な位置はどこか？
• RQ4 対称カーネルに基づくアテンション変種は、従来のモデルよりも少ないパラメータで競争力ある性能を達成できるか？
• RQ5 カーネルベースの定式化により、既存のアテンション変種を統一的に分類できるか？

主な発見

• 対称カーネルの積を用いたアテンションは、パラメータ数を削減しながらも、最先端モデルと同等またはそれを上回る性能を達成する。
• 無限次元の特徴マップを持つRBFおよび指数関数的カーネルは、ニューラル機械翻訳および系列予測の両タスクで最も優れた性能を発揮する。
• 非位置的カーネル関数と位置的カーネル関数の積としてカーネル関数に位置埋め込みを統合する方法が、クエリ、キー、またはバリューに統合する方法よりも優れた性能を発揮する。
• バリュー関数に位置埋め込みを統合しても、性能向上に顕著な効果がないため、アテンション出力計算には不要であると示唆される。
• デコーダーの自己アテンションから位置埋め込みを削除すると、NMTでわずかな性能低下（BLEU 34.71 → 34.49）が生じるが、全体的に削除すると性能が著しく低下（BLEU 14.47）するため、全体的なモデリングにおいて位置埋め込みが極めて重要な役割を果たしていることが示される。
• カーネルベースの定式化により、先行研究のアテンション変種を体系的に理解・分類できるようになり、統一的な枠組みの下で共通の構造的要素が明らかになった。