[論文レビュー] Multi-Scale Self-Attention for Text Classification

Qipeng Guo, Xipeng Qiu+3 more|arXiv (Cornell University)|Dec 2, 2019

Topic Modeling参考文献 41被引用数 4

ひとこと要約

本稿では、一般化性能の向上に寄与するインダクティブバイアスを組み込むために、個々のアテンションヘッドに可変な受容 field（スケール）を割り当てる、新しいマルチヘッドアテンション機構であるマルチスケール自己注意（MSMSA）を提案する。浅い層では小スケールのヘッドを、深い層ではスケールをバランスさせるようにすることで、21のデータセットにおいて標準Transformerよりも一貫的かつ顕著な精度向上を達成した。特に、小規模から中規模のベンチマークで顕著な効果を示した。

ABSTRACT

In this paper, we introduce the prior knowledge, multi-scale structure, into self-attention modules. We propose a Multi-Scale Transformer which uses multi-scale multi-head self-attention to capture features from different scales. Based on the linguistic perspective and the analysis of pre-trained Transformer (BERT) on a huge corpus, we further design a strategy to control the scale distribution for each layer. Results of three different kinds of tasks (21 datasets) show our Multi-Scale Transformer outperforms the standard Transformer consistently and significantly on small and moderate size datasets.

研究の動機と目的

• 小規模および中規模のテキスト分類データセットにおいて、標準的な自己注意機構がインダクティブバイアスに欠けるために一般化性能が低いという問題に取り組む。
• 自己注意機構にマルチスケールのインダクティブバイアスを組み込み、特徴学習の質とモデルのロバスト性を向上させる。
• 言語の階層的構造にインspiredした層間のスケール分布戦略を設計し、浅い層では局所的（小スケール）のヘッドを優遇し、深い層ではバランスの取れたスケールを採用する。
• 標準Transformerアーキテクチャを置き換えたり追加コンponentsを必要とせずに、マルチスケールアテンションが性能向上を達成できることを示す。

提案手法

• 各アテンションヘッドが可変サイズの受容 field（スケール）で動作する、マルチスケールマルチヘッド自己注意（MSMSA）を提案する。これにより、アテンション計算のコンテキスト窓が制限される。
• ヘッドのスケールを、そのヘッドが注目するトークン数として定義する。小スケールは局所的パターンに注目し、大スケールはグローバルな文脈を捉える。
• ハイパーパrameter α によって制御される学習可能なスケール分布戦略を導入する。α が高くなるほど、浅い層での局所的バイアスが強化される。
• 標準的なマルチヘッドアテンションとフィードフォワードネットワークをマルチスケールアテンション機構に置き換えることで、MSMSA層を積み重ねたマルチスケールTransformerを構築する。
• 5つの候補スケール（1, 3, N/16, N/8, N/4）を用いたスケール選択戦略を採用する。ここで N はシーケンス長を表す。
• 固定されたハイパーパrameterを用いて、標準的な最適化法（Adam、ドロップアウト、重み減衰）で、テキスト分類タスクを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意にマルチスケールのインダクティブバイアスを組み込むことで、小規模および中規模のテキスト分類データセットにおける一般化性能が向上するか？
• RQ2 テキスト分類におけるマルチスケール自己注意において、層間の最適なスケール分布戦略は何か？
• RQ3 パラメータ数と層数を一定に保った状態で、マルチスケールアテンションは単一スケールアテンションを上回るか？
• RQ4 局所的バイアス（例：浅い層での局所的バイアス）を採用したスケール分布は、グローバルまたは非バランスな分布と比較して、モデル性能にどのように影響するか？
• RQ5 提案手法は、アーキテクチャの大規模な見直しや追加コンponentsなしに、最先端の性能を達成できるか？

主な発見

• テストされた21のすべてのデータセットで、マルチスケールTransformerは標準Transformerを上回り、特に小規模および中規模のデータセットで一貫的かつ顕著な向上を示した。
• 正の α 値（浅い層での局所的バイアスを優遇）を採用した場合が最良の性能を示し、SNLI データセットでは 85.9% の精度を達成した。これは、最悪の α での 84.3% と比較して顕著な向上である。
• スケールがバランスされた分布（α = 0.5）を採用したモデルは、SNLI で 85.9% の精度を達成し、すべての単一スケールモデル（最大 84.3%）を上回った。
• 固定スケール（例：N/4）を採用した単一スケールモデルは顕著に性能が低く、精度が 80.7% まで低下した。これは、固定スケールアテンションが柔軟性に欠けることを示している。
• α = 1.0（浅い層での強い局所的バイアス）を採用したモデルは、SNLI で 85.5% の精度を達成し、局所的インダクティブバイアスが性能に不可欠であることを示した。
• 中規模の学習データ（例：SNLI では 55万サンプル）でも、マルチスケールTransformerは標準Transformerを上回った。これは、スケールバイアスによる事前知識がデータ依存性を低減することを示している。