[論文レビュー] Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned

Elena Voita, David Talbot+3 more|Zurich Open Repository and Archive (University of Zurich)|May 23, 2019

Natural Language Processing Techniques参考文献 30被引用数 70

ひとこと要約

この論文は Transformer NMT におけるエンコーダ・ヘッドの重要性を分析し、少数のヘッドのみが重要であり、多くのヘッドは微分可能な L0 ライクゲート法を用いた剪定で BLEU の損失を最小限に抑えつつ削除可能であることを示す。さらに、ヘッドを位置的、構文的、稀有語の役割で特徴づける。

ABSTRACT

Multi-head self-attention is a key component of the Transformer, a state-of-the-art architecture for neural machine translation. In this work we evaluate the contribution made by individual attention heads in the encoder to the overall performance of the model and analyze the roles played by them. We find that the most important and confident heads play consistent and often linguistically-interpretable roles. When pruning heads using a method based on stochastic gates and a differentiable relaxation of the L0 penalty, we observe that specialized heads are last to be pruned. Our novel pruning method removes the vast majority of heads without seriously affecting performance. For example, on the English-Russian WMT dataset, pruning 38 out of 48 encoder heads results in a drop of only 0.15 BLEU.

研究の動機と目的

• 個々のエンコーダ・ヘッドが翻訳品質にどれだけ影響を与えるかを決定する。
• 重要なヘッドの一貫性のある、解釈可能な役割（位置、構文、稀有語）を特定する。
• エンコーダ自己注意、デコーダ自己注意、デコーダ-エンコーダ注意の各注意タイプを横断して、どのヘッドが最も影響力を持つかを評価する。
• 収束したフルモデル訓練後も継続学習中に冗長なヘッドを削除できる剪定アプローチを実証する。

提案手法

• LRP（層別関連伝播）を用いてヘッドの重要度を計算し、トップ1ロジットへの寄与度でヘッドをランク付けする。
• 3つの機能でヘッドを特徴づける：位置的（隣接トークンを参照）、構文的（依存関係関係のトークンを参照）、稀有語的（最頻度の低いトークンを参照）。
• EOSを除外した平均最大注意重みでヘッドの信頼度を評価する。
• Hard Concrete ゲートを用いた L0 正則化の微分可能なリラクゼーションを導入し、収束した全モデル訓練後の継続学習中にヘッドを剪定する。
• エンコーダ自己注意（後にすべての注意タイプへ拡張）にゲートを適用し、BLEU への影響を評価するために微調整する。
• 訓練済みモデル/剪定済みモデルからの剪定と、同じスパース構造でのスクラッチ訓練による比較を行い、剪定の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 個々のエンコーダ・ヘッドが翻訳品質にどれだけ影響を与えるか。
• RQ2 エンコーダ・ヘッドは言語ペアやドメイン横断で一貫性のある解釈可能な役割を示すか。
• RQ3 どの注意タイプ（エンコーダ自己、デコーダ自己、デコーダ-エンコーダ注意）がヘッド数に最も敏感か。
• RQ4 スクラッチからの再訓練なしで大きなヘッド数を最小限の BLEU 損失で剪定できるか。
• RQ5 剪定されたヘッドの役割は位置的/構文的/稀有語的機能とどう関連するか。

主な発見

• 翻訳品質にとって小さなサブセットのヘッドが高度に重要である。
• 重要なヘッドは位置的、構文的関係、稀有語の焦点など、専門的で解釈可能な機能を持つ。
• 位置的ヘッドは隣接トークンを主に参照し、重要度の高いヘッドと一致する高い信頼度と LR P の関連性を示す。
• 構文的ヘッドは特定の依存関係関係（例：nsubj、dobj、amod、advmod）を参照し、構文構造に関して基準を上回る精度を示す。
• 最初の層での単一の“稀有語”ヘッドは最も頻度の低いトークンに焦点を当てる傾向があり、明確な専門的役割を示す。
• 微分可能なヘッドゲート（Hard Concrete）を用いた新規剪定法は、多くのヘッドをほとんど BLEU 損失を増やさずに剪定できる。EN-RU OpenSubtitles では、エンコーダヘッドを48から4に剪定して BLEU 損失がわずか 0.25。
• WMT EN-RU では、10 ヘッドで全モデルの BLEU に対して 0.15 の近似を維持でき、多くのヘッドを削除しても大きな影響はない。
• 全ての注意タイプを剪定するとデコーダ-エンコーダ注意が最も重要であることが示唆される。エンコーダ自己注意は特に OpenSubtitles データでより積極的に剪定可能である。
• 収束した全モデルから訓練された剪定モデルは主要なヘッドを保持し、層を通じて機能を維持できるが、同じ疎な構造でスクラッチから再訓練する方が剪定ベースのスパース化より劣る。