[論文レビュー] Capsule-Transformer for Neural Machine Translation

Sufeng Duan, Juncheng Cao+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 29被引用数 4

ひとこと要約

本稿では、変換器におけるマルチヘッド自己注意機構を一般化する新規アーキテクチャ、Capsule-Transformerを提案する。線形変換の代わりにキャプセルルーティングアルゴリズムを用いることで、階層的な注意集約によりより豊かな文脈表現を可能にする。ニューラル機械翻訳ベンチマークにおける実験では、顕著な性能向上を達成しており、パラメータの大幅な増加なしに強力な変換器ベースラインを上回る。

ABSTRACT

Transformer hugely benefits from its key design of the multi-head self-attention network (SAN), which extracts information from various perspectives through transforming the given input into different subspaces. However, its simple linear transformation aggregation strategy may still potentially fail to fully capture deeper contextualized information. In this paper, we thus propose the capsule-Transformer, which extends the linear transformation into a more general capsule routing algorithm by taking SAN as a special case of capsule network. So that the resulted capsule-Transformer is capable of obtaining a better attention distribution representation of the input sequence via information aggregation among different heads and words. Specifically, we see groups of attention weights in SAN as low layer capsules. By applying the iterative capsule routing algorithm they can be further aggregated into high layer capsules which contain deeper contextualized information. Experimental results on the widely-used machine translation datasets show our proposed capsule-Transformer outperforms strong Transformer baseline significantly.

研究の動機と目的

• 標準的なマルチヘッド自己注意機構が単純な線形変換に依存しているため、より深い文脈表現を捉えることが制限されているという問題に対処すること。
• キャプセルネットワークの原則を自己注意メカニズムに統合し、注意ヘッドおよびトークン間で動的で階層的な情報集約を可能にすること。
• モデルの複雑さやパラメータを顕著に増加させることなく、変換器の表現能力を向上させること。
• キャプセルルーティングが、ニューラル機械翻訳のような系列モデリングタスクにおける注意分布学習を改善できるかどうかを検証すること。

提案手法

• 異なるヘッドからの注意重みのグループを、初期的な言語的特徴を符号化する低レベルのキャプセルとして扱う。
• 反復的にキャプセルルーティングアルゴリズムを適用し、より文脈に即した、構成的表現を捉える高レベルのキャプセルにこれらの低レベルキャプセルを集約する。
• ルーティング機構により、各注意ヘッドが最終的表現に寄与する重要性を動的に決定し、標準的な自己注意における固定線形射影を置き換える。
• 提案されたキャプセル注意メカニズムを変換器エンコーダおよびデコーダに統合し、標準的なマルチヘッド注意モジュールを置き換える。
• ルーティングプロセスは、注意に基づくルーティング重みを用いた動的ルーティングを用い、モデルが高レベル表現に最も関連する注意パターンを学習できるようにする。
• アーキテクチャは元の変換器の効率性を保ち、追加パラメータを最小限に抑えながらエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 キャプセルルーティングにより、注意ヘッドの階層的集約を可能にすることで、自己注意の表現品質が向上するか？
• RQ2 自己注意における線形変換をキャプセルルーティングに置き換えることで、系列モデリングにおけるより良い文脈表現が得られるか？
• RQ3 キャプセル-Transformerは、標準的な変換器と比較して、ニューラル機械翻訳タスクで優れた性能を達成できるか？
• RQ4 性能向上は、モデル容量の増加ではなく、注意分布学習の改善によるものか？

主な発見

• キャプセル-Transformerは、標準的なニューラル機械翻訳ベンチマークにおいて、強力なベースラインである変換器を常に顕著に上回る性能を示した。
• モデルはパラメータの大幅な増加なしに優れた性能を達成しており、改善が容量スケーリングではなくアーキテクチャの強化によるものであることが示された。
• キャプセルルーティング機構により、ヘッドおよびトークン間で情報を集約することで、より一貫性があり文脈に即した注意分布が実現された。
• アブレーションスタディにより、ルーティング機構が性能に顕著に寄与しており、その除去により結果が著しく劣化することが確認された。
• 提案手法は一般化性に優れており、変換器ベースのモデルを用いた他のNLPタスクへの応用の可能性を示唆している。