[論文レビュー] GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction

Wasi Uddin Ahmad, Nanyun Peng+1 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling被引用数 10

ひとこと要約

GATEは、普遍的依存解析からの構文的距離を活用して自己注意機構を強化するグラフ自己注意変換器エンコーダーを提案する。構造的距離で注意を重み付けすることにより、長距離依存関係を捉え、語順への感受性を低減し、英語、中国語、アラビア語のACE05で最先端の性能を達成した。従来のGCNベースの手法と比較して顕著な向上を示した。

ABSTRACT

Recent progress in cross-lingual relation and event extraction use graph convolutional networks (GCNs) with universal dependency parses to learn language-agnostic sentence representations such that models trained on one language can be applied to other languages. However, GCNs struggle to model words with long-range dependencies or are not directly connected in the dependency tree. To address these challenges, we propose to utilize the self-attention mechanism where we explicitly fuse structural information to learn the dependencies between words with different syntactic distances. We introduce GATE, a {\bf G}raph {\bf A}ttention {\bf T}ransformer {\bf E}ncoder, and test its cross-lingual transferability on relation and event extraction tasks. We perform experiments on the ACE05 dataset that includes three typologically different languages: English, Chinese, and Arabic. The evaluation results show that GATE outperforms three recently proposed methods by a large margin. Our detailed analysis reveals that due to the reliance on syntactic dependencies, GATE produces robust representations that facilitate transfer across languages.

研究の動機と目的

• クロスリンガル情報抽出における構文木の長距離依存関係と離散化された語の扱いに課題を抱えるグラフ畳み込みネットワーク（GCNs）の限界を是正すること。
• 語順の違いに起因する感受性を、語順が多様な言語（英語、中国語、アラビア語）間で低減すること。
• 自己注意機構に構文的距離を明示的に組み込むことで、より良い構造的表現学習を実現し、クロスリンガル転移を向上させること。
• 並列データや複雑な語順再配置戦略に依存せず、低リソース・マルチリンガル環境でも安定した性能を維持できるモデルの開発

提案手法

• GATEは、普遍的依存解析から得られるペアワイズ構文的距離を用いて、自己注意重みを制御するマルチヘッド自己注意機構を採用する。
• 構文的距離を学習可能なバイアスまたは固定バイアスとして用い、順序的距離に関係なく長距離依存関係を効果的にモデル化できるようにする。
• 文脈に依存する単語表現としてM-BERTの特徴を入力として使用し、クロスリンガル転移性を向上させる。
• 言語に依存しない語順の設計を実現し、関係的推論に線形順序ではなく依存構造に依存する。
• GATEは構文的構造に基づいて注意ヘッド間での情報伝達を可能にし、照合タイプとイベント／関係ラベルの間の相関学習を可能にする。
• モデルは文単位の関係およびイベント抽出タスクでエンドツーエンドに学習され、語間の構文的経路長に応じて注意重みが動的に調整される。

実験結果

リサーチクエスチョン

• RQ1 構文的距離で重み付けされた注意機構は、クロスリンガル関係およびイベント抽出における長距離依存関係のモデル化において、GCNを上回ることができるか？
• RQ2 自己注意に構文的距離を組み込むことで、英語、中国語、アラビア語のような言語間での語順の変動に対するモデル感受性が低減するか？
• RQ3 構文に配慮した注意機構は、低リソース環境におけるゼロショットまたはフェイワショットクロスリンガル転移をどの程度向上させるか？
• RQ4 品詞タグ、依存関係ラベル、エンティティタイプといった言語に普遍的な特徴は、GATEの性能向上にどの程度寄与するか？

主な発見

• GATEはACE05ベンチマークで最先端の性能を達成し、英語、中国語、アラビア語の全言語で関係抽出およびイベント抽出の両面で、最近の3つの手法を上回った。
• 中国語をターゲット言語とした場合、GATEは英語をソース言語として用い、イベント抽出で63.0 F1を達成し、次善の手法と比較して3.3 F1ポイント顕著に上回った。
• アラビア語では、関係抽出で60.2 F1、イベント抽出で63.0 F1を達成し、平均文長が210語と長いにもかかわらず、強力なクロスリンガル転移を示した。
• アブレーションスタディの結果、エンティティタイプ特徴が性能向上に最も寄与していることが判明した。品詞タグや依存関係ラベルは、トークン化ノイズの影響で限定的な影響にとどまった。
• モデルはソース言語の特徴（語順や文構造）にあまり感受されないことが確認され、クロスリンガル環境における堅牢性が裏付けられた。
• GATEの性能は3言語すべてで安定しており、構文に配慮した注意機構による言語に依存しない表現学習が効果的であることが示された。