[論文レビュー] Monotonic Multihead Attention

Xutai Ma, Juan Pino+3 more|arXiv (Cornell University)|Sep 26, 2019

Topic Modeling参考文献 17被引用数 68

ひとこと要約

本論文は Monotonic Multihead Attention (MMA) を導入し、単調アテンションを Transformer ベースのモデルへ拡張して同時翻訳を可能にする。2つのバリアント（MMA-H と MMA-IL）と待機時間制御損失を提案し、MILk に対する品質-待機時間のトレードオフを改善する。

ABSTRACT

Simultaneous machine translation models start generating a target sequence before they have encoded or read the source sequence. Recent approaches for this task either apply a fixed policy on a state-of-the art Transformer model, or a learnable monotonic attention on a weaker recurrent neural network-based structure. In this paper, we propose a new attention mechanism, Monotonic Multihead Attention (MMA), which extends the monotonic attention mechanism to multihead attention. We also introduce two novel and interpretable approaches for latency control that are specifically designed for multiple attentions heads. We apply MMA to the simultaneous machine translation task and demonstrate better latency-quality tradeoffs compared to MILk, the previous state-of-the-art approach. We also analyze how the latency controls affect the attention span and we motivate the introduction of our model by analyzing the effect of the number of decoder layers and heads on quality and latency.

研究の動機と目的

• オンライン/リアルタイム翻訳を動機づけるために、Transformer モデルがソース全体を読まずにオンラインでデコードできるようにする。
• 複数のデコーダーヘッドとレイヤをサポートする単調アテンション機構を開発する。
• ヘッドとレイヤ間でのリーディング/ライティングのスケジュールを管理する待機時間制御戦略を導入する。
• 標準ベンチマークで MILk に対する待機時間と品質の優越的なトレードオフを示す。
• デコーダ深さ、ヘッド数、提案損失項が性能に与える影響を分析するアブレーションを提供する。

提案手法

• MMAを各デコーダ層におけるヘッドごとの単節アテンションとして定義し、層を横断する並列の独立したアテンションヘッドを可能にする（MMA-H および MMA-IL）。
• 各ヘッドごとに層内のヘッドでモノトニックエネルギーとシグモイド、ベルヌーイサンプリングで選択確率 p_{i,j}^{l,h} を計算する。
• 2つのバリアントを使用: MMA-H（ヘッドごとにハードアラインメントを伴うハードアテンション）と MMA-IL（ヘッドごとにソフトマックスエネルギーを用いた無限ルックバック）。
• 各レイヤーのヘッドごとのコンテキストを連結したコンテキストに集約し、対応するデコーダブロックへ入力する。
• 待機時間正則化項を導入する：微分可能な平均遅延ベースの損失 L_avg とヘッドの分散損失 L_var を用いてリーディング速度とヘッド間分散を制御する。
• λ_avg L_avg と λ_var L_var を組み合わせた目的関数で訓練し、翻訳損失とともに品質と待機時間のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 オンラインデコードを犠牲にせず、モノトニックアテンションをマルチヘッド Transformer アーキテクチャに拡張して実現できるか。
• RQ2 各ヘッドの待機時間制御がアテンション範囲と全体の待機時間にどのように影響するか、MMA で？
• RQ3 MMA-H と MMA-IL はどのような品質-待機時間のトレードオフを提供し、どの条件でそうなるのか。
• RQ4 デコーダー層数とヘッド数の増減が品質と待機時間に及ぼす影響は？
• RQ5 待機時間制御損失はアウトライヤーヘッドが読み取り速度を支配するのを効果的に防げるか。

主な発見

• MMA は IWSLT15 En-Vi および WMT15 De-En ベンチマークで MILk より優れた待機時間-品質のトレードオフを達成する。
• MMA-H は各ヘッドが単一の状態を参照しているにもかかわらず、待機時間-品質パレートフロントで MILk を上回ることが多い。
• 微分可能な待機時間損失は実際にアテンション範囲を縮小し、L_var の増加に伴いヘッド速度のバランスを取ることを示す。
• デコーダーレイヤ数とヘッド数を増やすと一般に BLEU は向上するが待機時間も増える、トレードオフと λ パラメータの調整が必要。
• 提案された損失はリーディングバッファとヘッド多様性に影響を与え、アウトライヤーヘッドによる待機時間を抑制する。