[論文レビュー] ELG: An Event Logic Graph

Xiao Ding, Zhongyang Li+2 more|arXiv (Cornell University)|Jul 18, 2019

Topic Modeling参考文献 20被引用数 4

ひとこと要約

本稿では、逐次的、因果的、条件的、階層的（is-a）関係を含むイベント間の関係をモデル化する有向循環知識グラフであるイベント論理グラフ（ELG）を紹介する。大規模なテキストからイベント抽出および関係認識を用いて構築されたELGは、スクリプトイベント予測の性能を著しく向上させ、マルチモデルアンサンブルを用いて54.93%の精度を達成し、ベースラインを最大3.2%上回った。

ABSTRACT

The evolution and development of events have their own basic principles, which make events happen sequentially. Therefore, the discovery of such evolutionary patterns among events are of great value for event prediction, decision-making and scenario design of dialog systems. However, conventional knowledge graph mainly focuses on the entities and their relations, which neglects the real world events. In this paper, we present a novel type of knowledge base - Event Logic Graph (ELG), which can reveal evolutionary patterns and development logics of real world events. Specifically, ELG is a directed cyclic graph, whose nodes are events, and edges stand for the sequential, causal, conditional or hypernym-hyponym (is-a) relations between events. We constructed two domain ELG: financial domain ELG, which consists of more than 1.5 million of event nodes and more than 1.8 million of directed edges, and travel domain ELG, which consists of about 30 thousand of event nodes and more than 234 thousand of directed edges. Experimental results show that ELG is effective for the task of script event prediction.

研究の動機と目的

• 従来の知識グラフがエンティティとその関係に焦点を当てているのに対し、イベント中心の知識が欠如しているという問題に対処すること。
• 時間的順序や因果的依存関係などの現実世界のイベント進化パターンを、構造化された知識ベースを用いてモデル化すること。
• 非構造化テキストからELGを構築するスケーラブルなフレームワークを構築し、イベント論理に関する常識的推論を可能にすること。
• 神経ネットワークベースのグラフモデルを用いて、ELGの有効性を下流タスク、特にスクリプトイベント予測において評価すること。

提案手法

• ノードがイベントを表し、エッジが逐次的、因果的、条件的、またはハイパオンイム・ハイポニム関係を表す有向循環グラフとしてELGを定義する。
• トリガー語（例：動詞）を用いて生テキストからイベントを抽出し、(S, P, O)という意味的タプルとして表現する。ここでPは行動を表す。
• 自然言語処理技術を用いてイベントペア間の関係を認識・ラベル付けし、逐次的および因果的関係における方向性を区別する。
• 意味的に類似したイベントを統合し、特定のイベントを一般化することで、統一的かつ抽象化されたイベントグラフを構築する。
• ドメイン特化型ELGの構築：金融ドメイン用ELG（150万イベント、180万エッジ）、旅行ドメイン用ELG（3万イベント、23万4千エッジ）。
• ELGを入力としてスクリプトイベント予測に神経ネットワークベースのグラフモデル（例：SGNN、EventComp、PairLSTM）を訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 イベント進化パターンをモデル化する知識ベースが、スクリプトイベント予測の性能を向上させることができるか？
• RQ2 ペアワイズ、チェーンベース、グラフベースの構造的表現の違いが、イベント予測精度にどのように影響するか？
• RQ3 階層的（is-a）関係と因果的関係を組み込むことで、ELGにおけるイベント推論の性能がどの程度向上するか？
• RQ4 グラフニューラルネットワークは、ELGの関係的構造を効果的に活用してイベント予測の性能を向上させることができるか？

主な発見

• SGNNモデルが52.45%の最高スクリプトイベント予測精度を達成し、最良のベースライン（PairLSTM）を3.2%上回った。
• SGNNをEventCompおよびPairLSTMと組み合わせることで、性能が54.93%に向上し、モデルアーキテクチャ間の相乗効果が示された。
• グラフベースのモデル（SGNN）がペアベース（PairLSTM）およびチェーンベース（EventComp）のモデルを上回り、イベント推論における構造的文脈の価値を裏付けた。
• SGNN-attentionにおけるアテンションメカニズムは、標準的なSGNNよりも性能を向上させた。これは、文脈イベントが予測に異なる重要性を持つことを示している。
• 学習曲線から、SGNNはPairLSTMよりも安定的かつ高速に高い精度に到達しており、訓練効率および収束性に優れていることが示された。
• ELG構築は高いスケーラビリティを達成しており、金融ドメイン用ELGには150万以上のイベントノードと180万エッジが含まれていた。