[論文レビュー] Multi-Head Attention with Disagreement Regularization

Jian Li, Zhaopeng Tu+3 more|arXiv (Cornell University)|Oct 24, 2018

Topic Modeling参考文献 21被引用数 22

ひとこと要約

本論文は、多ヘッドアテンションにおけるヘッド間の多様性を明示的に促進することで、Transformerモデルの翻訳性能を向上させるための不一致正則化を提案する。3種類の正則化（部分空間、注目位置、出力表現）を適用することで、英独および中国英翻訳タスクにおいて性能が向上し、Transformer-Baseはほぼ2倍の高速な学習速度でTransformer-Bigに近い性能を達成する。

ABSTRACT

Multi-head attention is appealing for the ability to jointly attend to information from different representation subspaces at different positions. In this work, we introduce a disagreement regularization to explicitly encourage the diversity among multiple attention heads. Specifically, we propose three types of disagreement regularization, which respectively encourage the subspace, the attended positions, and the output representation associated with each attention head to be different from other heads. Experimental results on widely-used WMT14 English-German and WMT17 Chinese-English translation tasks demonstrate the effectiveness and universality of the proposed approach.

研究の動機と目的

• Transformerにおける多ヘッドアテンションヘッド間の明示的な多様性の強制の欠如に対処すること。
• 各アテンションヘッドが異なる特徴を学習するように促進することで、ニューラル機械翻訳の性能を向上させること。
• 明示的にアテンションヘッドの不一致を正則化することで、モデルの一般化性能と効率が向上するかを調査すること。
• 多ヘッドアテンションの異なるコンponent（部分空間、注目位置、出力表現）に対して、3種類の異なる不一致正則化の有効性を評価すること。
• 不一致正則化を施した小さなモデル（Transformer-Base）が、より大きなモデル（Transformer-Big）と同等の性能を達成し、著しく高速に学習可能かどうかを示すこと。

提案手法

• ハイパーパrameter λ=1.0 で制御される、尤度損失と不一致正則化項を組み合わせた補助的学習目的を導入。
• 3種類の不一致正則化を提案：射影された部分空間（V^i, V^j）、注目位置（アテンション行列の要素ごとの積を介して）、出力表現（O^i, O^j）。
• ヘッド表現間の類似度を最小化するため、コサイン距離を不一致指標として使用し、部分空間、注目位置、出力ベクトルの各側面で不一致を最大化。
• 正則化項を独立または組み合わせて、Transformerアーキテクチャ内の多ヘッドアテンション機構に適用。
• 多ヘッド自己アテンションを備えた標準的なTransformerエンコーダデコーダフレームワークを採用し、パラメータの追加なしに学習中に不一致正則化を統合。
• 解釈可能性を高めるために、不一致を exp(D) で測定し、1.0に近い値（最大の直交性＝多様性）を示す。

実験結果

リサーチクエスチョン

• RQ1 明示的にアテンションヘッドの不一致を正則化することで、ニューラル機械翻訳の性能が向上するか？
• RQ2 多ヘッドアテンション機構のどのコンponent（部分空間、注目位置、出力表現）を正則化することで性能向上が得られるか？
• RQ3 不一致正則化を用いることで、小さなTransformerモデル（Base）が大きなモデル（Big）と同等の性能を達成できるか？
• RQ4 標準的な多ヘッドアテンションヘッドは、どの程度同じ位置に注目しているか？その傾向が表現の多様性を制限しているか？
• RQ5 不一致正則化は、異なるエンコーダレイヤーにおける学習済み表現にどのように影響するか？

主な発見

• 不一致正則化は、WMT14英独翻訳およびWMT17中国英翻訳タスクの両方で一貫して翻訳性能を向上させる。
• 不一致正則化を施したTransformer-Baseは、性能がTransformer-Bigと同等であり、学習速度はほぼ2倍速い。
• 出力不一致正則化は、最も高い不一致スコア（exp(D) ≈ 0.997）を達成し、ヘッド間の出力ベクトルがほぼ直交していることを示している。
• ベースラインの多ヘッドアテンションでは、注目位置における不一致が極めて小さい（exp(D) = 0.007）ため、ほとんどのヘッドが同じ位置に注目している。
• 位置ベースの正則化は、部分空間や出力における不一致を顕著に増加させないため、他の項と組み合わせても効果が限定的であることが説明できる。
• 結果から、多ヘッドアテンションは主に学習済み表現の差をエンコードしていることが示され、注目位置の多様性に関する仮定に疑問を呈する。