[論文レビュー] Graph based Neural Networks for Event Factuality Prediction using Syntactic and Semantic Structures

Amir Pouran Ben Veyseh, Thien Huu Nguyen+1 more|arXiv (Cornell University)|Jul 7, 2019

Topic Modeling参考文献 26被引用数 6

ひとこと要約

本論文は、依存木に基づく構文的類似度行列とLSTM由来の意味的類似度行列を統合するためのグラフ畳み込みネットワーク（GCN）を用いて、イベント事実性予測（EFP）のための構文的および意味的構造を統合的にモデル化するグラフベースのニューラルネットワークを提案する。このモデルは、複数のベンチマークデータセットで最先端の性能を達成し、MAEおよび相関係数の両指標において、先行研究を顕著に上回っている。

ABSTRACT

Event factuality prediction (EFP) is the task of assessing the degree to which an event mentioned in a sentence has happened. For this task, both syntactic and semantic information are crucial to identify the important context words. The previous work for EFP has only combined these information in a simple way that cannot fully exploit their coordination. In this work, we introduce a novel graph-based neural network for EFP that can integrate the semantic and syntactic information more effectively. Our experiments demonstrate the advantage of the proposed model for EFP.

研究の動機と目的

• 統合的なディープラーニングフレームワーク内で構文的および意味的情報を効果的に統合することで、イベント事実性予測（EFP）の性能を向上させること。
• 従来のモデルが最終層でのみ構文的および意味的表現を連結するという限界に対処し、ノイズの拡大や補完的相互作用の損失を回避すること。
• 構文的および意味的構造の間の早期相互作用を可能にする手法を開発し、EFPのためのより強固で正確な表現を生成すること。
• グラフ畳み込みネットワーク（GCNs）がEFPにおける長距離依存関係やキーワード同定にどのように寄与するかを示すこと。
• 複数のベンチマークデータセットでモデルを評価し、主要な構成要素をアブレーションすることでその貢献度を検証すること。

提案手法

• モデルは依存木から構文的類似度行列を構築し、構文的依存関係に基づいた単語間の接続を表現する。
• 文の双方向LSTM表現を用いて意味的類似度行列を生成し、文脈的および意味的関係を捉える。
• これらの2つの類似度行列は、学習可能なハイパーパrameter λ を用いて線形結合され、GCN伝搬用の強化された類似度行列が形成される。
• グラフ畳み込みネットワーク（GCNs）は強化されたグラフを介して表現を伝搬させ、各単語がその構文的および意味的近隣単語から情報を集約できるようにする。
• 最終的な表現はプーリングされ、回帰ヘッドを通過して [-3, +3] の実数値事実性スコアを予測する。
• モデルは平均絶対誤差（MAE）損失を用いてエンドツーエンドで学習され、MAEおよびピアソン相関係数（r）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 構文的および意味的構造の間の早期相互作用は、最終層での連結を超えて、事実性予測の性能を向上させることができるか？
• RQ2 依存木構造とLSTMベースの意味的表現の統合は、長距離のキーワードを捉えるのにどの程度効果的か？
• RQ3 構文的構造と意味的構造が、個別および併合された形でEFPに果たす貢献度は何か？
• RQ4 提案されたGCNベースのフレームワークは、標準的なEFPベンチマークで既存の最先端モデルを上回るか？
• RQ5 予測ヘッドにおけるBERT埋め込みおよびアテンションメカニズムの導入は、性能にどの程度影響を与えるか？

主な発見

• 提案モデルはFactBank、UW、Meantime、UDS-IH2データセットで最先端の性能を達成し、FactBankではMAE 0.310、相関係数0.903を記録した。
• FactBank、UW、Meantimeの結合データセットで学習した場合、UDS-IH2ではMAE 0.204、相関係数0.702を達成し、すべての先行モデルを上回った。
• アブレーションスタディの結果、構文的または意味的構造を削除すると性能が低下し、両方を同時に除外した際の低下が最大（MAE: 0.352、r: 0.821）であった。
• 予測ヘッドにBERT埋め込みとアテンションを組み込むことで性能が顕著に向上し、アブレーション結果からその有効性が示された（例：アテンション有りではMAE 0.312、アテンション無しではMAE 0.310）。
• λ=0.8 の設定でUDS-IH2で最高の性能が達成されたことから、構文的および意味的情報の最適なバランスが得られていることが示された。
• BERTを統合したRudingerら（2018）の現在の最先端モデルですら、本研究の統合メカニズムの優位性を上回ることができず、提案手法の優位性を裏付けた。