[論文レビュー] ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through Regularized Self-Attention

Yang Liu, Jiaxiang Liu+8 more|arXiv (Cornell University)|Mar 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

ERNIE-Sparseは、スパースアテンション機構における情報ボトルネック感受性とトポロジー不一致の問題を解決するため、階層的スパーストランスフォーマー（HST）と自己アテンション正則化（SAR）を提案する。階層的グローバル表現を導入し、トポロジーの変化に対しても出力の一貫性を保つことで、長距離シーケンスタスクで最先端の性能を達成し、Long Range Arenaでは2.77%、QAベンチマークでは3.24%の精度向上を実現した。

ABSTRACT

Sparse Transformer has recently attracted a lot of attention since the ability for reducing the quadratic dependency on the sequence length. We argue that two factors, information bottleneck sensitivity and inconsistency between different attention topologies, could affect the performance of the Sparse Transformer. This paper proposes a well-designed model named ERNIE-Sparse. It consists of two distinctive parts: (i) Hierarchical Sparse Transformer (HST) to sequentially unify local and global information. (ii) Self-Attention Regularization (SAR) method, a novel regularization designed to minimize the distance for transformers with different attention topologies. To evaluate the effectiveness of ERNIE-Sparse, we perform extensive evaluations. Firstly, we perform experiments on a multi-modal long sequence modeling task benchmark, Long Range Arena (LRA). Experimental results demonstrate that ERNIE-Sparse significantly outperforms a variety of strong baseline methods including the dense attention and other efficient sparse attention methods and achieves improvements by 2.77% (57.78% vs. 55.01%). Secondly, to further show the effectiveness of our method, we pretrain ERNIE-Sparse and verified it on 3 text classification and 2 QA downstream tasks, achieve improvements on classification benchmark by 0.83% (92.46% vs. 91.63%), on QA benchmark by 3.24% (74.67% vs. 71.43%). Experimental results continue to demonstrate its superior performance.

研究の動機と目的

• 限られたグローバルトークンに起因するスパーストランスフォーマーにおける情報ボトルネック感受性の解消。
• 微小な入力シフトによって生じるアテンショントポロジーの不一致に起因する性能低下の低減。
• より豊かなグローバル表現を実現する階層的アテンション機構の導入による長距離シーケンスモデリングの向上。
• 新たな正則化戦略により、異なるアテンショントポロジー間でのモデル予測の安定化。
• 長文分類や質問応答を含む多様なNLPタスクにおける優れた性能の実証。

提案手法

• 2段階のアテンションを用いる階層的スパーストランスフォーマー（HST）を導入：まず局所トークンがブロック内でのみアテンションを行い、次に代表的トークンがグローバル情報を集約・伝達する。
• オリジナルとシフトされたアテンショントポロジー間の出力差を最小化する自己アテンション正則化（SAR）を設計。
• SARを適用する際、スパースアテンション入力の摂動版（例：1トークン分ずらしたバージョン）をサンプリングし、オリジナル出力と摂動出力のKLダイバージェンスを最小化する。
• 階層的アテンションヘッドとスパースアテンションヘッドの間で線形重みを共有することで、パラメータ効率と一貫性を向上。
• 標準的なクロスエントロピー損失とSAR損失の組み合わせによる訓練により、トポロジー変動に対するロバストネスを実現。
• 微調整のフレームワークを活用し、テキスト分類や質問応答などの下流タスクにおける一般化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 スパーストランスフォーマーにおけるグローバルトークン数がモデル性能に与える影響は何か？また、階層的アテンションはこのボトルネック効果を緩和できるか？
• RQ2 固定されたアテンションパターンを有するスパーストランスフォーマーにおいて、入力摂動（例：トークンのずれ）がモデル挙動に与える影響はどの程度か？
• RQ3 異なるアテンショントポロジー間で出力を一貫させる正則化戦略は、モデルのロバストネスと性能向上に寄与するか？
• RQ4 提案されたHST機構は、多様なシーケンス長にわたる長距離依存関係のモデリングにおいて、標準的なスパースアテンションと比較してどのように優れているか？
• RQ5 SARをR-Dropなどの他の正則化技術と組み合わせることで、モデルの一般化性能がさらに向上するか？

主な発見

• Long Range Arenaベンチマークにおいて、強力なベースライン（55.01%）に対して平均で2.77%の精度向上（57.78%）を達成した。
• テキスト分類タスクでは、強力なベースライン（91.63%）に対して0.83%の精度向上（92.46%）を達成した。
• 質問応答タスクでは、ベースライン（71.43%）に対して3.24%の向上（74.67%）を達成した。
• アブレーションスタディの結果、HSTを削除すると平均で1.00ポイントの性能低下が生じ、ListOpsタスクでは1.78ポイントの低下が確認された。
• アテンショントポロジーを摂動させた際、SAR正則化によりPathfinderの性能低下が3.52ポイント減少（78.77から75.25に低下）し、その安定化効果が明確に示された。
• SARは5つのタスクのうち3つでR-Dropを上回り、ドロップアウトとも相乗効果を示し、併用することで単独使用時よりも優れた結果を達成した。