[論文レビュー] Event Detection: Gate Diversity and Syntactic Importance Scoresfor Graph Convolution Neural Networks

Viet Dac Lai, Tuan Ngo Nguyen+1 more|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling参考文献 23被引用数 9

ひとこと要約

本論文では、イベント検出のためのグラフ畳み込みネットワークであるGatedGCNを提案する。このモデルは、不要な句構造的情報をフィルタリングするためのトリガーに依存するゲーティング機構を導入し、階層的な文脈を保持するために層間でのゲート多様性を強制する。さらに、一貫性を保つために、グラフベースとモデルベースの重要度スコアを統合し、ACE-2005とLitBankの両データセットで74.5の最先端F1スコアを達成した。これは、先行モデルよりそれぞれ1.4%および0.6%高い結果である。

ABSTRACT

Recent studies on event detection (ED) haveshown that the syntactic dependency graph canbe employed in graph convolution neural net-works (GCN) to achieve state-of-the-art per-formance. However, the computation of thehidden vectors in such graph-based models isagnostic to the trigger candidate words, po-tentially leaving irrelevant information for thetrigger candidate for event prediction. In addi-tion, the current models for ED fail to exploitthe overall contextual importance scores of thewords, which can be obtained via the depen-dency tree, to boost the performance. In thisstudy, we propose a novel gating mechanismto filter noisy information in the hidden vec-tors of the GCN models for ED based on theinformation from the trigger candidate. Wealso introduce novel mechanisms to achievethe contextual diversity for the gates and theimportance score consistency for the graphsand models in ED. The experiments show thatthe proposed model achieves state-of-the-artperformance on two ED datasets

研究の動機と目的

• GCNベースのモデルが隠れ表現をトリガーに依存しないものとして扱うため、ノイズの多い情報保持が生じるという限界を是正すること。
• トリガー候補の隠れ表現に基づいて、不要な文脈をフィルタリングする動的ゲーティング機構を導入することで、表現学習を向上させること。
• 文脈情報の階層的抽象化レベルを反映するために、GCN層間でのゲート活性化の構造的多様性を強制すること。
• グラフベースの構文的重要度スコアとモデル由来の注目スコアを一致させることで、モデルの解釈可能性と性能を向上させること。
• 構文的構造と学習された表現を統合する有効性を、アブレーション実験および比較実験を通じて示すこと。

提案手法

• 各GCN層にトリガーに依存するゲーティング機構を導入し、ゲートはトリガー候補の隠れ表現から計算され、関係のない隣接語を抑制する。
• 層間でのゲート活性化の多様性を促進するために、損失関数に正則化項を適用し、異なる抽象化レベルを保証する。
• 各単語からトリガーまでの依存パス距離を用いて、グラフベースの重要度スコアを計算し、構文的関連性を反映する。
• モデルベースの重要度スコアは、最終分類器層の注目重みまたは勾配から導出する。
• グラフベースとモデルベースの重要度スコアを一致させるための整合性損失を導入し、表現学習を強化する。
• 完全なモデルであるGatedGCNは、BERT文書符号化、ゲート付きGCNメッセージパッシング、重要度スコア正則化を統合し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トリガーに依存するゲーティング機構により、不要な構文的文脈をフィルタリングすることで、イベント検出の性能が向上するか？
• RQ2 GCN層間でのゲート活性化の多様性を強制することで、モデルが階層的文脈表現を捉える能力が向上するか？
• RQ3 グラフベースの構文的重要度スコアは、イベント検出モデルにおける学習表現の質を向上させられるか？
• RQ4 グラフベースとモデルベースの重要度スコアを一致させることで、性能向上とより強固な特徴学習が達成できるか？
• RQ5 提案された各構成要素が、ベンチマークデータセットにおける最先端性能に、個別および統合的にどの程度寄与しているか？

主な発見

• 提案されたGatedGCNモデルは、ACE-2005テストセットで74.5の最先端F1スコアを達成し、2番目に良いモデル（BERT+MLP）を1.4ポイント上回った。
• LitBankテストセットでは、F1スコアが74.5に達し、最先端モデルBert+BiLSTMを0.6ポイント上回った。
• アブレーションスタディの結果、ゲート、多様性正則化、整合性損失のいずれかを除去すると、性能が著しく低下することが確認され、各要素の個別的および相乗的寄与が裏付けられた。
• 重要度スコアの可視化から、GatedGCNモデルは、直接の構文的隣接語でない場合でも、トリガーの近くに意味的に関連する語を効果的に強調していることがわかった。
• GatedGCNにおけるモデルベースの重要度スコアは、アブレーションモデルよりもグラフベースのスコアとより一致しており、一貫性および解釈可能性の向上が示された。
• ACE-2005およびLitBankの両データセットで、改善は統計的に有意（p < 0.05）であり、提案手法の堅牢性が裏付けられた。