[論文レビュー] Hard-Coded Gaussian Attention for Neural Machine Translation

Weiqiu You, Simeng Sun+1 more|arXiv (Cornell University)|May 2, 2020

Natural Language Processing Techniques参考文献 28被引用数 11

ひとこと要約

本論文では、Transformer内のすべての学習済みマルチヘッド自己注意機構を、局所的な位置を中心に固定された入力に依存しないガウス分布に置き換える、ハードコードされたガウス注意機構を提案する。驚くべきことに、エンコーダーとデコーダーにのみハードコードされた自己注意機構を用いたモデルは、4つの言語対についてほぼベースラインに近いBLEUスコアを達成するが、クロス注意機構をハードコードに置き換えると顕著なBLEUスコアの低下が生じる。しかし、1つの学習済みクロス注意ヘッドを追加するだけで性能を回復でき、これはクロス注意機構が翻訳品質にとって自己注意機構よりも重要であることを示唆している。

ABSTRACT

Recent work has questioned the importance of the Transformer's multi-headed attention for achieving high translation quality. We push further in this direction by developing a "hard-coded" attention variant without any learned parameters. Surprisingly, replacing all learned self-attention heads in the encoder and decoder with fixed, input-agnostic Gaussian distributions minimally impacts BLEU scores across four different language pairs. However, additionally hard-coding cross attention (which connects the decoder to the encoder) significantly lowers BLEU, suggesting that it is more important than self-attention. Much of this BLEU drop can be recovered by adding just a single learned cross attention head to an otherwise hard-coded Transformer. Taken as a whole, our results offer insight into which components of the Transformer are actually important, which we hope will guide future work into the development of simpler and more efficient attention-based models.

研究の動機と目的

• 学習済みマルチヘッド注意機構が高品質なニューラル機械翻訳に不可欠であるかどうかを調査すること。
• すべての学習済み注意機構を固定されたパラメータフリーの代替機構に置き換えた際の影響を評価すること。
• Transformerの各部品（自己注意機構 vs. クロス注意機構）のうち、翻訳性能に最も重要な要因が何かを特定すること。
• 競争力のあるBLEUスコアを維持する最小限の学習パラメータ構成を探索すること。
• パラメータフリーの注意機構を導入することでモデル効率を向上させつつ、翻訳品質を維持すること。

提案手法

• エンコーダーとデコーダーの自己注意ヘッドをすべて、特定の位置を中心とした固定されたガウス分布に置き換え、学習パラメータを一切使用しない。
• 比較のためのベースラインとして、完全に学習済みのマルチヘッドクロス注意機構を維持する。
• クロス注意機構をハードコードされたガウス分布に置き換えて、翻訳品質への影響を評価する。
• 完全にハードコードされたモデルに1つの学習済みクロス注意ヘッドを追加し、性能回復の有効性を検証する。
• インデックスベースの注意機構に二値カーネルを用いた代替バージョンを実装し、注意機構の簡素化をさらに進める。
• 4つの言語対を用いてBLEUスコア、デコード速度、メモリ効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダーの自己注意機構を、固定された学習済みでないガウス分布に完全に置き換えても、翻訳品質に顕著な悪影響がないか？
• RQ2 ニューラル機械翻訳における高いBLEUスコアを維持する上で、クロス注意機構は自己注意機構よりもどれほど重要であるか？
• RQ3 すべての注意機構をハードコードした後、性能を回復させるために必要な最小限の学習パラメータ数はどのくらいか？
• RQ4 パラメータフリーの注意機構を導入することで、翻訳品質を損なわずに効率的改善を達成できるか？
• RQ5 固定された注意機構は、長距離依存関係のような言語現象を、学習済みのものと同等にモデル化できるか？

主な発見

• エンコーダーとデコーダーのすべての自己注意機構をハードコードされたガウス分布に置き換えると、4つの言語対すべてでBLEUスコアの低下が最小限に抑えられ、自己注意機構は従来の予想よりも重要度が低いことが示された。
• クロス注意機構をハードコードに置き換えると、BLEUスコアが5–10ポイントも著しく低下し、翻訳品質の観点からクロス注意機構が自己注意機構よりも重要であることが実証された。
• 完全にハードコードされたモデルに1つの学習済みクロス注意ヘッドを追加すると、性能の損失の大部分が回復され、完全なベースラインと比較してBLEUスコアは1–3ポイントの低下にとどまる。
• ハードコードモデルは、注意機構がパラメータフリーであるにもかかわらず、ベースラインと比較して26.4%高いメモリ効率（バッチあたりトークン数）と30.2%速いデコード速度を達成した。
• 分析の結果、標準的なTransformerにおける学習済み注意ヘッドは主に局所的なウィンドウに注目していることが判明し、局所的ハードコードガウス分布の設計選択を裏付けた。
• 二値カーネルを用いたインデックスベースの注意機構は、2つのデータセットで1 BLEU未満のスコア低下に抑えられ、さらに最小限の性能損失で効率改善が可能であることが示唆された。