[논문 리뷰] ELG: An Event Logic Graph

Xiao Ding, Zhongyang Li외 2명|arXiv (Cornell University)|2019. 07. 18.

Topic Modeling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 사건 간의 순차적, 인과적, 조건적, 계층적(is-a) 관계를 모델링하여 실제 세계의 사건 진화 패턴을 포착하는 방향성 있는 순환 지식 그래프인 이벤트 로직 그래프(Event Logic Graph, ELG)를 소개한다. 대규모 텍스트에서 사건 추출 및 관계 인식을 통해 구축된 ELG는 다중 모델 앙상블을 사용하여 54.93%의 정확도를 기록하며, 기존의 기준 모델들보다 최대 3.2% 높은 성능을 보이며 스크립트 이벤트 예측 성능을 크게 향상시킨다.

ABSTRACT

The evolution and development of events have their own basic principles, which make events happen sequentially. Therefore, the discovery of such evolutionary patterns among events are of great value for event prediction, decision-making and scenario design of dialog systems. However, conventional knowledge graph mainly focuses on the entities and their relations, which neglects the real world events. In this paper, we present a novel type of knowledge base - Event Logic Graph (ELG), which can reveal evolutionary patterns and development logics of real world events. Specifically, ELG is a directed cyclic graph, whose nodes are events, and edges stand for the sequential, causal, conditional or hypernym-hyponym (is-a) relations between events. We constructed two domain ELG: financial domain ELG, which consists of more than 1.5 million of event nodes and more than 1.8 million of directed edges, and travel domain ELG, which consists of about 30 thousand of event nodes and more than 234 thousand of directed edges. Experimental results show that ELG is effective for the task of script event prediction.

연구 동기 및 목표

• 기존 지식 그래프가 실체와 그 관계에 집중하는 데 비해 사건 중심의 지식 부족 문제를 해결하기 위해.
• 실제 세계의 사건 진화 패턴—예를 들어 시간적 순서와 인과적 의존성—을 구조화된 지식 기반을 통해 모델링하기 위해.
• 비구조적 텍스트에서 ELG를 구축하기 위한 확장 가능한 프레임워크를 개발하여 사건 논리에 대한 일반 지식 추론을 가능하게 하기 위해.
• 특히 스크립트 이벤트 예측과 같은 후행 작업에서 ELG의 효과성을 평가하기 위해, 신경망 기반 그래프 모델을 활용한다.

제안 방법

• 노드가 사건을 나타내고, 간선이 순차적, 인과적, 조건적 또는 하위개념-상위개념 관계를 나타내는 방향성 있는 순환 그래프로 ELG를 정의한다.
• 주로 동사와 같은 트리거 단어를 사용하여 원시 텍스트에서 사건을 추출하고, (S, P, O) 형태의 의미적 튜플로 표현한다. 여기서 P는 행동을 의미한다.
• 자연어 처리 기법을 활용하여 사건 쌍 간의 관계를 인식하고 레이블을 붙이며, 순차적 및 인과적 관계의 방향성을 구분한다.
• 의미적으로 유사한 사건들을 통합하고 특정 사건들을 일반화하여 통합적이고 추상화된 사건 그래프를 형성한다.
• 도메인별 ELG를 구축한다: 금융 도메인 ELG는 150만 개의 사건 노드와 180만 개의 간선을 포함하고, 여행 도메인 ELG는 3만 개의 사건 노드와 23만 4천 개의 간선을 포함한다.
• ELG를 입력으로 사용하여 스크립트 이벤트 예측 작업에서 그래프 기반 모델(SGNN, EventComp, PairLSTM 등)을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 이벤트 진화 패턴을 모델링하는 지식 기반은 스크립트 이벤트 예측 성능을 향상시킬 수 있는가?
• RQ2 쌍별, 체인 기반, 그래프 기반의 서로 다른 구조적 표현 방식은 이벤트 예측 정확도에 어떤 영향을 미치는가?
• RQ3 계층적(is-a) 관계와 인과적 관계를 통합함으로써 ELG의 이벤트 추론 능력은 어느 정도 향상되는가?
• RQ4 지식 그래프 기반의 신경망 모델은 ELG의 관계적 구조를 효과적으로 활용하여 이벤트 예측 성능을 향상시킬 수 있는가?

주요 결과

• SGNN 모델이 52.45%의 가장 높은 스크립트 이벤트 예측 정확도를 기록하였으며, 최고의 기준 모델인 PairLSTM보다 3.2% 높은 성능을 보였다.
• SGNN를 EventComp와 PairLSTM과 조합함으로써 성능이 54.93%로 향상되었으며, 이는 다양한 모델 아키텍처 간의 상호보완적 이점이 있음을 시사한다.
• 그래프 기반 모델(SGNN)이 쌍 기반(PairLSTM) 및 체인 기반(EventComp) 모델보다 뛰어난 성능을 보였으며, 이는 이벤트 추론에서 구조적 맥락의 가치를 확인한다.
• SGNN-attention에서의 어텐션 메커니즘이 표준 SGNN보다 성능을 향상시켰으며, 이는 맥락 사건이 예측에 대해 다양한 중요도를 가진다는 것을 의미한다.
• 학습 곡선을 통해 SGNN가 PairLSTM보다 더 빠르게 안정된 고정확도에 도달함을 확인하였으며, 이는 훈련 효율성과 수렴 속도 향상의 잠재력을 보여준다.
• ELG 구축 과정에서 높은 확장성 확보를 달성하였으며, 금융 도메인 ELG는 150만 개 이상의 사건 노드와 180만 개의 간선을 포함하고 있다.