[論文レビュー] SparseBERT: Rethinking the Importance Analysis in Self-attention

Shi Han, Jiahui Gao+5 more|arXiv (Cornell University)|Feb 25, 2021

Topic Modeling参考文献 39被引用数 13

ひとこと要約

この論文では、自己注意行列の対角成分が最も重要でないことを発見し、性能に損なわれることなく削除可能であることを示唆することで、自己注意の重要性を再考するSparseBERTを提案する。微分可能注意マスク（DAM）とGumbel-sigmoidを用いることで、エンドツーエンドでスパースで構造的な注意パターンを学習可能となり、開発セットで91.3%のスパarsityと80.9%のGLUEスコアを達成する。

ABSTRACT

Transformer-based models are popularly used in natural language processing (NLP). Its core component, self-attention, has aroused widespread interest. To understand the self-attention mechanism, a direct method is to visualize the attention map of a pre-trained model. Based on the patterns observed, a series of efficient Transformers with different sparse attention masks have been proposed. From a theoretical perspective, universal approximability of Transformer-based models is also recently proved. However, the above understanding and analysis of self-attention is based on a pre-trained model. To rethink the importance analysis in self-attention, we study the significance of different positions in attention matrix during pre-training. A surprising result is that diagonal elements in the attention map are the least important compared with other attention positions. We provide a proof showing that these diagonal elements can indeed be removed without deteriorating model performance. Furthermore, we propose a Differentiable Attention Mask (DAM) algorithm, which further guides the design of the SparseBERT. Extensive experiments verify our interesting findings and illustrate the effect of the proposed algorithm.

研究の動機と目的

• 自己注意機構における異なる注意位置の重要性を、BERT事前学習の過程で再評価すること。
• 自己注意行列の対角成分がモデル性能に真に不可欠であるかどうかを調査すること。
• 効率的でスパースな注意パターンを発見するための学習可能で微分可能なメカニズムを開発すること。
• 計算コストを低減しつつ性能を維持するスパースなTransformerアーキテクチャ（SparseBERT）を設計すること。
• 対角注意を削除しても下流タスクの精度が低下しないことを検証すること。

提案手法

• ソフトで微分可能なマスクを用いて、エンドツーエンドで注意パターンを学習する微分可能注意マスク（DAM）アルゴリズムを提案する。
• トレーニング中にバイナリ注意マスクを微分可能にサンプリングするためにGumbel-sigmoid関数を導入し、勾配ベース最適化を可能にする。
• 注意マスクを事前学習プロセスの一部として最適化し、マスクとモデルパラメータを同時に学習する。
• マスクのソフトネスを制御する学習可能な温度パラメータを用い、ストレートスラッシュ推定により離散的注意パターンを実現する。
• 構造的スパarsity制約を適用し、得られる注意パターンが解釈可能で効率的（例：局所的、グローバル、ハイブリッドパターン）であることを保証する。
• モデルの精度とスパarsity正則化を組み合わせた重み付き損失を用い、性能と効率のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 自己注意行列の対角成分は、モデル性能にとって真に重要であるのだろうか、それとも安全に削除可能だろうか？
• RQ2 微分可能でエンドツーエンドの手法が、手作業で設計されたスパース注意機構と同等またはそれを上回る性能を示すスパース注意パターンを学習できるだろうか？
• RQ3 事前学習の過程で、注意ヘッドごとに注意位置（例：対角、近隣、特別トークン）の重要性はどのように変化するだろうか？
• RQ4 対角注意を削除することで、下流タスクの性能を劣化させることなく、どの程度スパarsityを向上させられるだろうか？
• RQ5 ハイパーパrameter λ を用いたスパarsity制御の観点から、ワンステージの微分可能マスク学習は、二段階のプルーニングに比べて性能とスパarsity制御の点で優れているだろうか？

主な発見

• 自己注意行列の対角成分は、複数のタスクにおいてその削除によって性能に影響がないことから、最も重要でないことが判明した。
• 91.3%のスパarsityを達成するSparseBERTは、開発セットで平均80.9%のGLUEスコアを示し、精度に損なわれることなく高い効率性を実現した。
• 提案されたDAMアルゴリズムは、ヘッドごとに多様で構造的な注意パターンを学習し、対角成分よりも近隣や特別トークン（例：[CLS]、[SEP]）がより高い注目度を受けることがわかった。
• 対角注意を削除することで、ストライドマスクではスパarsityが70.4%から71.2%に、DAMサンプリングマスクでは最大93.5%にまで向上し、性能に影響がないことが確認された。
• ワンステージの微分可能マスク学習は、二段階のプルーニングに比べて下流タスクの精度が優れており、ハイパーパrameter λ を用いたスパarsity制御の直接性に劣るが、全体的な性能は上回った。
• 理論的分析により、対角成分は自己注意機構における普遍近似性にとって必要ではないことが確認された。