[論文レビュー] Edge-Enhanced Graph Convolution Networks for Event Detection with Syntactic Relation

Shiyao Cui, Bowen Yu+4 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 27被引用数 9

ひとこと要約

本稿では、エッジに注意を払うノード更新とノードに注意を払うエッジ更新を用いて、構文的構造とタイプ付き依存関係ラベルを同時にモデル化する、新たなアーキテクチャであるエッジ強化型グラフ畳み込みネットワーク（EE-GCN）を提案する。この手法はACE2005データセットにおいて最先端の性能を達成し、従来のGCNベースのモデルを上回りながらも高い効率性を維持している。

ABSTRACT

Event detection (ED), a key subtask of information extraction, aims to recognize instances of specific event types in text. Previous studies on the task have verified the effectiveness of integrating syntactic dependency into graph convolutional networks. However, these methods usually ignore dependency label information, which conveys rich and useful linguistic knowledge for ED. In this paper, we propose a novel architecture named Edge-Enhanced Graph Convolution Networks (EE-GCN), which simultaneously exploits syntactic structure and typed dependency label information to perform ED. Specifically, an edge-aware node update module is designed to generate expressive word representations by aggregating syntactically-connected words through specific dependency types. Furthermore, to fully explore clues hidden in dependency edges, a node-aware edge update module is introduced, which refines the relation representations with contextual information. These two modules are complementary to each other and work in a mutual promotion way. We conduct experiments on the widely used ACE2005 dataset and the results show significant improvement over competitive baseline methods.

研究の動機と目的

• 従来のGCNベースのイベント検出モデルがタイプ付き依存関係ラベルを無視するという限界を是正すること。これらのラベルはトリガー特定に不可欠な言語的信号を保持している。
• 静的表現ではなく、文脈依存的かつ動的になされる関係のモデル化。
• ノードとエッジの表現を相互に最適化することで、ノードとエッジの表現を共同で学習し、イベント検出性能を向上させること。
• 従来の関係に注意を払うGCNモデルと比較して、高速かつパラメータ数が少ない高効率なアーキテクチャの設計。

提案手法

• EE-GCNは、語をノードとし、タイプ付き依存関係をエッジとする非均質なグラフを構築し、隣接テンソルを用いて表現する。
• エッジに注意を払うノード更新モジュールは、特定の依存関係タイプに応じて隣接ノード表現を集約することで、タイプに注意を払うメッセージパッシングを可能にする。
• ノードに注意を払うエッジ更新モジュールは、接続されたノードからの文脈的情報を用いて関係表現を精緻化し、エッジ表現を動的かつ文脈に敏感にする。
• 2つのモジュールは相互に促進し合う形で繰り返し適用され、ノードとエッジ表現の共同最適化を可能にする。
• 関係タイプを効率的に表現するため、学習可能な関係埋め込みを用いることで、関係固有の畳み込みフィルターよりもパラメータ数を削減する。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、軽量なパrameter化のおかげで推論が高速である。

実験結果

リサーチクエスチョン

• RQ1 タイプ付き依存関係ラベルをグラフ畳み込みネットワークに組み込むことで、イベント検出性能が向上するか？
• RQ2 文脈依存的になされた関係のモデル化は、イベントトリガーの同定にどのような影響を与えるか？
• RQ3 ノードとエッジの更新を交互に実行する二重更新メカニズムは、単一更新アプローチと比較して、より優れた表現学習をもたらすか？
• RQ4 RGCNなどの既存の関係に注意を払うGCNモデルと比較して、EE-GCNの効率性とスケーラビリティはいかがなっているか？

主な発見

• EE-GCNはACE2005ベンチマークで最先端の性能を達成し、RGCN や GCN といった強力なベースラインを上回っている。
• 2層のGCNで最適な性能が得られ、深層ネットワークでは過剰平滑化が生じて性能が低下することが判明した。
• 効率的な関係埋め込み設計のおかげで、パラメータ数を239万にまで削減し、RGCNの412万と比べて顕著に低減した。
• 推論速度はRGCNの9.46倍で、EE-GCNは1秒間に167.6バッチを処理したのに対し、RGCNは17.7バッチだった。
• 可視化により、EE-GCNは主語、目的語、時間／場所修飾語などのイベント関連語に高い関連スコアを割り当てており、正しく関連語を特定していることが確認された。
• アブレーションスタディの結果、エッジに注意を払うモジュールとノードに注意を払うモジュールの両方が性能向上に顕著に寄与しており、それらの補完的設計の有効性が裏付けられた。