[論文レビュー] Information Aggregation for Multi-Head Attention with Routing-by-Agreement

Jian Li, Baosong Yang+4 more|arXiv (Cornell University)|Apr 5, 2019

Topic Modeling参考文献 29被引用数 12

ひとこと要約

本稿では、マルチヘッドアテンションにおける情報集約を向上させるため、標準的な線形結合の代わりに反復的アテンションルーティングを用いる「同意によるルーティング」メカニズムを提案する。このメカニズムは、部分（アテンションヘッド）を全体（最終表現）に割り当てる際の合意に基づいて処理を行う。実験では、言語的プローブおよび機械翻訳の両タスクで一貫した性能向上が得られ、パラメータ数を25%削減しても、より大きなモデルと同等の性能を達成している。

ABSTRACT

Multi-head attention is appealing for its ability to jointly extract different types of information from multiple representation subspaces. Concerning the information aggregation, a common practice is to use a concatenation followed by a linear transformation, which may not fully exploit the expressiveness of multi-head attention. In this work, we propose to improve the information aggregation for multi-head attention with a more powerful routing-by-agreement algorithm. Specifically, the routing algorithm iteratively updates the proportion of how much a part (i.e. the distinct information learned from a specific subspace) should be assigned to a whole (i.e. the final output representation), based on the agreement between parts and wholes. Experimental results on linguistic probing tasks and machine translation tasks prove the superiority of the advanced information aggregation over the standard linear transformation.

研究の動機と目的

• 標準的な線形変換によるマルチヘッドアテンションの集約が、豊かな表現的情報を捉えるのに十分かどうかを調査すること。
• 線形変換を超える高度な集約メカニズム、特に「同意によるルーティング」を、マルチヘッドアテンションにおける集約に応用することの可能性を探ること。
• 同意に基づく集約の有効性を、言語的プローブタスクおよび機械翻訳タスクで評価すること。
• 特に学習および推論速度の観点から、パフォーマンスと計算コストのバランスを取れる効率的な設定を同定すること。

提案手法

• 本手法は、マルチヘッドアテンションの出力を「部分」とし、最終表現を「全体」とみなして、集約を「部分から全体への割り当て問題」と定式化する。
• EMルーティングアルゴリズムを用い、部分（アテンションヘッド）と全体（最終出力表現）の間の合意に基づいて、反復的にルーティング重みを更新する。
• 動的ルーティングを用い、アテンションベースの合意スコアによって、各ヘッドの出力が最終表現にどの程度寄与するかを決定する。
• 効率性とパフォーマンスのバランスを図るため、Transformerモデルの低レベル2層にのみこのルーティング機構を適用する。
• 標準的な線形変換の代わりにルーティングメカニズムを導入することで、モデルアーキテクチャを維持しつつ、表現の表現力の向上を実現する。
• 本手法は、言語的プローブタスクおよび機械翻訳ベンチマーク（WMT14 En→De および WMT17 Zh→En）で評価される。

実験結果

リサーチクエスチョン

• RQ1 マルチヘッドアテンション出力の集約に用いられる標準的な線形変換は、異なるアテンションヘッドの表現力の全貌を捉えるのに十分か？
• RQ2 同意によるルーティングメカニズムは、NLPタスクにおけるマルチヘッドアテンションが学習する表現の品質を向上させることができるか？
• RQ3 同意に基づく集約は、異なるモデル構成において翻訳性能および学習効率にどのように影響を与えるか？
• RQ4 パフォーマンスと計算コストのバランスを最適化するには、同意に基づく集約をどのレイヤー深さに配置すべきか？

主な発見

• 同意によるルーティングメカニズムは、10の言語的プローブタスクにおいて顕著な性能向上を示し、集約された表現がより多くの文法的・意味的情報を捉えていることが示された。
• WMT14 En→De および WMT17 Zh→En の翻訳タスクにおいて、本手法は、Transformer-Base および Transformer-Big モデルの両方で、標準的なTransformerベースラインを一貫して上回った。
• エンコーダーの低レベル2層にのみルーティングを適用することで、良好なトレードオフが達成され、学習時間を37.5%短縮しながらも高いパフォーマンスを維持した。
• 効果的な集約を用いたTransformer-Baseモデルは、約2/3のパラメータ数で、より大きなTransformer-Bigモデルと同等の性能を達成した。
• すべてのレイヤー、あるいはエンコーダーとデコーダーの複数のコンponentにルーティングを適用すると、性能向上の割には著しい速度低下が生じ、リターンの逓減が顕著に見られた。
• 本手法は、線形集約の強力な代替手段であることが、多様なNLPタスクにおける実証的検証によって裏付けられた。