[論文レビュー] Fast Directional Self-Attention Mechanism.

Tao Shen, Tianyi Zhou+3 more|arXiv (Cornell University)|May 2, 2018

Data Visualization and Analytics被引用数 3

ひとこと要約

この論文では、ドット積と多次元注目を組み合わせたハイブリッド適合関数を用いて、トークン同士およびソース同士の依存関係を同時にモデル化する、計算およびメモリ効率に優れた自己注意機構であるFast-DiSAを紹介する。軽量な位置マスクを用いた双向性時系列モデリングと多頭部・多次元注目を統合することで、Fast-DiSAは、推論コストを著しく削減しながらも、CNNと同等の最先端性能を達成する。

ABSTRACT

In this paper, we propose a self-attention mechanism, dubbed self-attention (Fast-DiSA), which is a fast and light extension of directional self-attention (DiSA). The proposed Fast-DiSA performs as expressively as the original DiSA but only uses much less computation time and memory, in which 1) both token2token and source2token dependencies are modeled by a joint compatibility function designed for a hybrid of both dot-product and multi-dim ways; 2) both multi-head and multi-dim attention combined with bi-directional temporal information captured by multiple positional masks are in consideration without heavy time and memory consumption appearing in the DiSA. The experiment results show that the proposed Fast-DiSA can achieve state-of-the-art performance as fast and memory-friendly as CNNs. The code for Fast-DiSA is released at \url{this https URL}.

研究の動機と目的

• 系列モデリングにおける方向性自己注意（DiSA）の高い計算およびメモリコストを解決すること。
• DiSAの表現力は維持しつつ、推論時間とメモリ使用量を大幅に削減すること。
• 計算コストの増加を伴わずに、多頭部および多次元注目を双向性時系列モデリングと統合すること。
• CNNの効率性に匹敵するが、最先端の性能を達成する自己注意機構の開発

提案手法

• トークン同士およびソース同士の依存関係を同時にモデル化できる、ドット積と多次元注目を組み合わせた共同適合関数を提案する。
• 多頭部と多次元注目を1つの効率的な計算グラフに統合するハイブリッド注目機構を導入する。
• 複数の軽量な位置マスクを用いて、計算コストやメモリコストを増加させずに双向性時系列情報を捉える。
• 共有および構造化されたパrameterizationによって注目計算を最適化することで、標準的なDiSAに見られる重い計算とメモリ消費を回避するアーキテクチャを設計する。
• 異なる注目タイプを統一するコンactな共有表現空間を活用し、モデルパラメータと推論時間を削減する。
• 標準的な最適化手法を用いたエンドツーエンド学習を可能にしつつ、高い表現力と効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、計算およびメモリコストを削減しながらも、DiSAの表現力を維持できるか？
• RQ2 ハイブリッド適合関数は、1つのメカニズム内でトークン同士およびソース同士の依存関係をどれほど効果的にモデル化できるか？
• RQ3 多頭部および多次元注目は、計算コストを増加させずに、どのように効率的に双向性時系列モデリングと統合できるか？
• RQ4 提案されたメカニズムは、速度とメモリ効率の面でCNNに匹敵する最先端の性能を達成できるか？

主な発見

• Fast-DiSAは、標準的なDiSAと比べて著しく高速かつメモリ効率に優れており、系列モデリングタスクで最先端の性能を達成している。
• DiSAと比較して計算時間とメモリ使用量を削減し、精度を損なわず、CNNと同等の推論速度を達成している。
• ハイブリッド適合関数により、追加コストを最小限に抑えつつ、トークン同士およびソース同士の依存関係を効果的にモデル化できる。
• 多頭部および多次元注目を双向性位置マスクと統合することで、計算コストの増加を伴わずモデル化能力が向上した。
• 提案されたメカニズムは、ベンチマーク全体で高い性能を維持しており、一般化性能と効率性のトレードオフが優れていることが示された。
• 公開されたコードにより、Fast-DiSAの再現性が確保され、さまざまな系列モデリング応用分野への採用が可能になった。