[논문 리뷰] Future is not One-dimensional: Graph Modeling based Complex Event Schema Induction for Event Prediction.

Manling Li, Sha Li외 6명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 43인용 수 8

한 줄 요약

이 논문은 사건, 관련자, 시간적 연결 및 관련자 관계를 포괄하는 그래프 기반의 시간적 복합 이벤트 스키마 모델을 제안하며, 이는 향상된 이벤트 예측을 가능하게 한다. 6,399건의 문서로 구성된 새로운 코퍼스와 골드 표준 스키마를 사용하여, 기준 모델 및 인간의 스키마 대비 이벤트 예측 과제에서 HITS@1 기준 17.8% 향상된 성능을 달성하였다.

ABSTRACT

Event schemas encode knowledge of stereotypical structures of events and their connections. As events unfold, schemas are crucial to act as a scaffolding. Previous work on event schema induction either focuses on atomic events or linear temporal event sequences, ignoring the interplay between events via arguments and argument relations. We introduce the concept of Temporal Complex Event Schema: a graph-based schema representation that encompasses events, arguments, temporal connections and argument relations. Additionally, we propose a Temporal Event Graph Model that models the emergence of event instances following the temporal complex event schema. To build and evaluate such schemas, we release a new schema learning corpus containing 6,399 documents accompanied with event graphs, and manually constructed gold schemas. Intrinsic evaluation by schema matching and instance graph perplexity, prove the superior quality of our probabilistic graph schema library compared to linear representations. Extrinsic evaluation on schema-guided event prediction further demonstrates the predictive power of our event graph model, significantly surpassing human schemas and baselines by more than 17.8% on HITS@1.

연구 동기 및 목표

• 이전의 이벤트 스키마 유도 방법이 원자적 사건이나 선형 순서에만 집중하는 한계를 해결하기 위해.
• 기존 접근 방식에서 종종 忽시되는 관련자와 관련자 관계를 통해 사건 간 상호작용을 모델링하기 위해.
• 시간적 구조와 관계적 구조를 동시에 포착하는 그래프 기반의 이벤트 스키마 표현을 개발하기 위해.
• 학습 및 평가를 위한 이벤트 그래프와 골드 표준 스키마가 포함된 6,399건의 문서로 구성된 새로운 스키마 학습 코퍼스를 구축하기 위해.
• 내재적 스키마 품질과 외재적 이벤트 예측 성능을 평가하여, 선형 표현 방식과 인간이 구성한 스키마에 비해 본 모델의 열등함을 입증하기 위해.

제안 방법

• 이벤트, 관련자, 시간적 관계, 관련자 관계를 인코딩하는 그래프 구조로 시간적 복합 이벤트 스키마의 개념을 도입한다.
• 확률적 추론을 사용하여 스키마 기반으로 이벤트 인스턴스의 발생을 시뮬레이션하는 시간적 이벤트 그래프 모델을 설계한다.
• 학습 및 평가를 위한 수작업으로 애너테이션된 이벤트 그래프와 골드 표준 스키마를 포함한 6,399건의 문서로 새로운 코퍼스를 구축한다.
• 내재적 평가를 위해 스키마 매칭 및 인스턴스 그래프 퍼플렉서티를 적용하여 스키마 품질을 평가한다.
• 외재적 평가로 스키마 유도 기반 이벤트 예측을 사용하며, HITS@1 및 기타 표준 지표를 통해 성능을 측정한다.
• 이벤트와 관련자 간의 종속성을 포착하기 위해 확률적 그래픽 모델을 사용하여 모델을 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 관련자와 관계를 포함하는 그래프 기반의 이벤트 스키마 표현이 선형 표현이나 원자적 사건 표현보다 이벤트 구조를 더 잘 포착할 수 있는가?
• RQ2 시간적 이벤트 그래프 모델이 기준 모델 및 인간이 구성한 스키마에 비해 미래의 이벤트 인스턴스를 얼마나 잘 예측할 수 있는가?
• RQ3 관련자 관계와 시간적 연결을 통합함으로써 스키마 품질과 예측 능력은 어느 정도 향상되는가?
• RQ4 선형 스키마 기준 모델 대비 본 모델이 내재적 스키마 매칭 및 인스턴스 퍼플렉서티 측면에서 어떻게 성능을 내는가?
• RQ5 실세계 이벤트 예측 과제에서 본 확률적 그래프 스키마 라이브러리를 사용할 경우 예측 성능 향상은 어느 정도인가?

주요 결과

• 제안된 시간적 복합 이벤트 스키마 모델은 스키마 매칭 및 인스턴스 그래프 퍼플렉서티로 측정된 내재적 스키마 품질 평가에서 선형 표현 방식보다 유의미하게 뛰어난 성능을 보였다.
• 이벤트 예측 과제에서 HITS@1 지표 기준 기준 모델 및 인간 스키마 대비 17.8% 향상된 성능을 달성하여 강력한 예측 능력을 입증하였다.
• 그래프 기반 스키마 라이브러리는 사건, 관련자, 시간적 관계 간의 더 풍부한 구조적 종속성을 포착하여 더 정확한 예측을 가능하게 하였다.
• 골드 표준 스키마가 포함된 6,399건의 문서로 구성된 새로운 코퍼스는 복잡한 이벤트 스키마 유도 방법의 신뢰할 수 있는 평가를 가능하게 하였다.
• 시간적 이벤트 그래프 모델은 이벤트 인스턴스의 발생을 효과적으로 모델링하여 동적 이벤트 예측 환경에서 뛰어난 강건성과 일반화 능력을 보였다.
• 결과는 관련자 관계와 시간적 연결을 모델링하는 것이 고정밀도 이벤트 스키마 유도 및 예측을 위해 필수적임을 확인하였다.