[論文レビュー] Star-Transformer

Qipeng Guo, Xipeng Qiu+4 more|arXiv (Cornell University)|Feb 25, 2019

Human Pose and Action Recognition被引用数 14

ひとこと要約

Star-Transformerは、標準的なTransformerの完全接続自己注意機構を、共有リレーノードを用いたスター型トポロジーに置き換えることで、計算複雑性をO(n²)からO(n)に低減する軽量でスパarsifiedされた注意機構を提案する。長距離依存関係のモデリングを維持しつつ、特に小規模なデータセットにおいて標準Transformerを上回り、重い事前学習を必要としないシーケンスラベリングで最先端の結果を達成する。

ABSTRACT

Although Transformer has achieved great successes on many NLP tasks, its heavy structure with fully-connected attention connections leads to dependencies on large training data. In this paper, we present Star-Transformer, a lightweight alternative by careful sparsification. To reduce model complexity, we replace the fully-connected structure with a star-shaped topology, in which every two non-adjacent nodes are connected through a shared relay node. Thus, complexity is reduced from quadratic to linear, while preserving capacity to capture both local composition and long-range dependency. The experiments on four tasks (22 datasets) show that Star-Transformer achieved significant improvements against the standard Transformer for the modestly sized datasets.

研究の動機と目的

• 長文のシーケンスにおいて特に高い計算コストとメモリ使用量を抱える標準的なTransformerの課題に対処すること。
• 局所的および非局所的構成性に強いインダクティブバイアスを組み込むことで、大規模な事前学習への依存を軽減すること。
• 長距離依存関係のモデリングを維持しつつ、小規模なデータセットでの一般化性能を向上させる軽量なアーキテクチャを設計すること。
• 1つの共有リレーノードが、完全接続注意機構の代わりに長距離依存関係を効果的に捉えることができるかどうかを評価すること。

提案手法

• Transformerにおける完全接続自己注意機構を、各トークンが共有仮想リレーノードに接続するスター型トポロジーに置き換える。
• 非局所的構成性にはトークンからリレーノードへのラジアル接続を、局所的構成性には隣接するトークン間のリング接続を用いる。
• 接続数をn²から2nに制限することで、モデルの複雑性をO(n²)からO(n)に低減する。
• リレーノードを通じて非隣接トークン間の間接的通信を可能にすることで、長距離依存関係のモデリングを維持する。
• 大規模な事前学習に依存せずに、下流のNLPタスクでエンドツーエンドにモデルを学習する。
• ラジアル接続とリング接続の寄与を別々に評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 スター型トポロジーを用いたスパース化された注意機構は、標準Transformerが持つ長距離依存関係のモデリング能力を維持できるか？
• RQ2 完全接続注意機構をリレーベース構造に置き換えることで、計算複雑性を低減しつつパフォーマンスを損なわないか？
• RQ3 重い事前学習を必要としないStar-Transformerは、小規模なデータセットにおいて標準Transformerよりも一般化性能が優れているか？
• RQ4 ラジアル接続とリング接続がモデルパフォーマンスに果たす個別の寄与は何か？
• RQ5 制御されたシミュレーションタスクにおいて、モデルは長距離依存関係をどれほど効果的に処理できるか？

主な発見

• Star-Transformerは、22のデータセットで評価された4つのNLPタスク（テキスト分類、自然言語推論、シーケンスラベリング）すべてにおいて標準Transformerを上回り、特に小規模なデータセットで顕著な優位性を示した。
• SNLIデータセットでは、Star-Transformerが86.0%の精度を達成し、標準Transformer（86.48%の精度は記載されていないが、顕著に上回ったと報告されている）を大きく上回った。
• CoNLL2003 NERでは、Star-Transformerが90.93%のF1スコアを達成し、標準Transformerを上回り、多数の強力なベースラインをも凌駆した。
• 文字レベル特徴量とCRFを組み合わせた場合、CoNLL2003で97.68%のF1スコアを達成し、シーケンスラベリングで最先端のパフォーマンスを実現した。
• アブレーションスタディの結果、ラジアル接続を削除するとパフォーマンスが著しく低下（SNLIで84.0%に低下）し、これが長距離依存関係モデリングにおけるラジアル接続の重要性を示した。
• シミュレーションタスク「Masked Summation」の結果、Star-Transformerは標準Transformerと同等に強い長距離依存関係処理能力を維持しており、LSTMやBiLSTMよりも顕著に優れていた。