[論文レビュー] Position-aware Self-attention with Relative Positional Encodings for Slot Filling

Ivan Bilan, Benjamin Roth|arXiv (Cornell University)|Jul 9, 2018

Tactile and Sensory Interactions参考文献 11被引用数 21

ひとこと要約

本論文では、関係抽出におけるスロットフィリングのための自己注意機構に基づくモデルを提案する。相対的位置エンコーディングと位置に敏感な注意層を組み合わせ、LSTMを自己注意エンコーダーに置き換えることで、TACREDデータセット上で最先端の性能を達成した。このモデルは再帰的または畳み込み層を一切使用せず、純粋に注意メカニズムに依存している。

ABSTRACT

This paper describes how to apply self-attention with relative positional encodings to the task of relation extraction. We propose to use the self-attention encoder layer together with an additional position-aware attention layer that takes into account positions of the query and the object in the sentence. The self-attention encoder also uses a custom implementation of relative positional encodings which allow each word in the sentence to take into account its left and right context. The evaluation of the model is done on the TACRED dataset. The proposed model relies only on attention (no recurrent or convolutional layers are used), while improving performance w.r.t. the previous state of the art.

研究の動機と目的

• 再帰的または畳み込み的コンponentsを一切使用しない、完全に注意メカニズムに依存する関係抽出用の純粋な注意ベースのモデルの開発。
• 文における主語と目的語の位置を考慮する位置に敏感な注意を統合することで、スロットフィリングの性能を向上させること。
• 絶対的位置エンコーディングの代わりに相対的位置エンコーディングを採用することで、自己注意メカニズムの性能を向上させ、トークン間の関係をよりよくモデル化すること。
• 活性化関数、重み初期化、レイヤー構成などのアーキテクチャ的選択が関係分類性能に与える影響を評価すること。

提案手法

• 各トークンの左および右の文脈をモデル化するために、相対的位置エンコーディングをカスタム実装した自己注意エンコーダーを使用する。
• 自己注意エンコーダーの上に位置に敏感な注意層を追加し、クエリトークンとオブジェクトトークン、およびそれらの相対的位置の間の相互作用を明示的にモデル化する。
• 遠く離れたトークンをより大きなバインにグループ化するバインニング戦略を用いて、相対的位置エンコーディングを表現する。
• 各エンコーダーレイヤーで、クエリ、キー、値の変換を伴うマルチヘッド自己注意を実装し、その後にフィードフォワードネットワークを適用する。
• 注意メカニズムは、クエリとキーの間のドット積をソフトマックス正規化したスコアを計算し、値の重み付き出力を生成する。
• 最終的な分類ヘッドは、文脈に敏感な表現を用いて、42種の事前に定義された関係または 'no_relation' を予測する。

実験結果

リサーチクエスチョン

• RQ1 自己注意のみのアーキテクチャは、LSTMのような系列ベースのモデルを上回ることができるか？
• RQ2 このタスクにおける自己注意メカニズムにおいて、絶対的位置エンコーディングと比較して相対的位置エンコーディングを用いることで、性能がどのように向上するか？
• RQ3 自己注意エンコーダーに加えて位置に敏感な注意層を追加することで、性能はどの程度向上するか？
• RQ4 活性化関数、重み初期化、レイヤー深さなどのアーキテクチャ的選択がモデル性能に与える影響は何か？

主な発見

• 提案されたモデルは、TACREDデータセットで最先端の性能を達成し、LSTMやハイブリッドアーキテクチャを用いた先行研究を上回った。
• 絶対的エンコーディングではなく相対的エンコーディングを用いることで、F₁スコアが0.2%向上し、長距離依存関係のモデル化において有効であることが示された。
• 自己注意エンコーダー単体では高いリcall（85.4%）を達成したが、精度は26.7%にとどまり、性能のバランスを取るために追加の監視が必要であることが示された。
• RReLUをReLUに置き換えると、F₁スコアが0.3%低下し、RReLUがわずかだが一貫した性能優位性を提供することが示された。
• Xavierの代わりにKaimingによる重み初期化を用いることで、F₁スコアに変化はなかったが、精度がわずかに向上した。これは、全体の性能に与える影響が最小限であることを示唆している。
• 自己注意エンコーダーにLSTMを組み合わせて隠れ状態を計算しても、顕著な性能向上が得られず、自己注意部が十分であることが示された。