[論文レビュー] Self-Attention with Structural Position Representations

Xing Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Sep 1, 2019

Topic Modeling参考文献 36被引用数 7

ひとこと要約

この論文は、依存木から得られる構造的位置表現（絶対的および相対的）を提案し、自己注意ネットワーク（SANs）に文法構造の認識能力を付与する。変換器にこれらの表現を統合することで、NISTおよびWMT14翻訳ベンチマークにおいて、標準的な逐次的位置符号化よりも翻訳性能が最大0.93 BLEUポイント向上し、構造的符号化が逐次順序を超える補完的な文法的情報を捉えられることを示している。

ABSTRACT

Although self-attention networks (SANs) have advanced the state-of-the-art on various NLP tasks, one criticism of SANs is their ability of encoding positions of input words (Shaw et al., 2018). In this work, we propose to augment SANs with structural position representations to model the latent structure of the input sentence, which is complementary to the standard sequential positional representations. Specifically, we use dependency tree to represent the grammatical structure of a sentence, and propose two strategies to encode the positional relationships among words in the dependency tree. Experimental results on NIST Chinese-to-English and WMT14 English-to-German translation tasks show that the proposed approach consistently boosts performance over both the absolute and relative sequential position representations.

研究の動機と目的

• 自己注意ネットワークが逐次的な語順を超えて文法的構造を捉える能力に限界があることに対処すること。
• 依存木から導出される構造的位置表現が、ニューラル機械翻訳タスクの性能向上に寄与するかどうかを調査すること。
• 既存の逐次的位置符号化と補完する絶対的および相対的構造的位置符号化戦略を提案し、評価すること。
• 依存木における文法的深さと距離が、NLPにおける系列モデルのための有用なインダクティブバイアスを提供することを示すこと。

提案手法

• この手法は、文の文法的構造を依存木で表現し、語の間の構造的深さと対ごとの距離を抽出する。
• 絶対的構造的位置符号化は、各語が依存木における深さを表し、相対的構造的位置符号化は、木内の語のペア間の距離を捉える。
• これらの構造的表現は、標準的な位置符号化と同様に、学習可能な埋め込みを介して自己注意メカニズムに組み込まれる。
• このアプローチは、エンコーダーとデコーダーの両方に絶対的および相対的構造的位置符号化を統合した変換器アーキテクチャの上に実装される。
• モデルは中国語-英語および英語-ドイツ語翻訳タスクで学習され、構造的位置符号化の寄与を分離するためのアブレーションスタディが実施される。
• 標準的な絶対的および相対的逐次的位置符号化と比較して、構造的位置表現の性能向上を測定する。

実験結果

リサーチクエスチョン

• RQ1 依存木から導出される構造的位置表現は、ニューラル機械翻訳タスクにおける自己注意ネットワークの性能向上に寄与するか？
• RQ2 絶対的および相対的構造的位置符号化は、標準的な絶対的および相対的逐次的位置符号化と比較して、翻訳品質においてどのように差が現れるか？
• RQ3 構造的位置符号化の統合により、モデルの表現における文法的知識の捉えられ方が向上するか？
• RQ4 構造的位置符号化による性能向上は、異なる言語対およびモデルサイズにおいて一貫しているか？

主な発見

• 提案された構造的位置符号化は、ベースラインのTransformer-Bigと比較して、4つのNIST中国語-英語テストセット平均で0.59 BLEUポイントの翻訳性能向上を達成した。
• WMT14英語-ドイツ語翻訳タスクでは、ベースラインのTransformer-Bigと比較して0.93 BLEUポイントの向上を達成した。
• 相対的逐次的位置符号化と構造的位置符号化の組み合わせは、相対的逐次符号化のみを用いたベースラインと比較して0.71 BLEUポイントの向上を示した。
• 言語的プローブの結果から、構造的位置符号化により文法的プローブ精度が64.98から65.87に向上し、学習された表現における文法的知識の保持が向上していることが示された。
• アブレーションスタディにより、絶対的および相対的逐次的位置符号化と併用しても、構造的位置符号化が顕著な向上をもたらすことが確認された。
• 構造的位置符号化を統合したモデルは、高いデコード速度を維持しており、提案された修正による計算オーバーヘッドが最小限であることが示された。