[논문 리뷰] The Future is not One-dimensional: Complex Event Schema Induction by Graph Modeling for Event Prediction

Manling Li, Sha Li외 6명|arXiv (Cornell University)|2021. 04. 13.

Semantic Web and Ontologies인용 수 16

한 줄 요약

이 논문은 다중 이벤트 간 시간적 종속성과 관련 관계를 포착하는 확률적, 그래프 기반의 시간적 복합 이벤트 스키마 유도를 위한 새로운 프레임워크를 제안한다. 자동으로 추출된 이벤트 그래프 위에 자동 회귀적 그래프 생성 모델을 적용하여 향후 이벤트 예측에서 뛰어난 성능을 달성하며, HITS@1 기준 인간이 만든 스키마보다 23.8% 높은 성능을 기록한다. 이는 선형 모델에 비해 구조적이고 다차원적인 이벤트 추론의 강력함을 입증한다.

ABSTRACT

Event schemas encode knowledge of stereotypical structures of events and their connections. As events unfold, schemas are crucial to act as a scaffolding. Previous work on event schema induction focuses either on atomic events or linear temporal event sequences, ignoring the interplay between events via arguments and argument relations. We introduce a new concept of Temporal Complex Event Schema: a graph-based schema representation that encompasses events, arguments, temporal connections and argument relations. In addition, we propose a Temporal Event Graph Model that predicts event instances following the temporal complex event schema. To build and evaluate such schemas, we release a new schema learning corpus containing 6,399 documents accompanied with event graphs, and we have manually constructed gold-standard schemas. Intrinsic evaluations based on schema matching and instance graph perplexity, prove the superior quality of our probabilistic graph schema library compared to linear representations. Extrinsic evaluation on schema-guided future event prediction further demonstrates the predictive power of our event graph model, significantly outperforming human schemas and baselines by more than 23.8% on HITS@1.

연구 동기 및 목표

• 기존의 이벤트 스키마 유도 방법이 이벤트를 선형적 또는 원자적 구조로 간주하여 상호 이벤트 관계와 관련 종속성을 忽시하는 한계를 해결하기 위해.
• 다중 이벤트, 다중 관련자, 시간 순서가 있는 이벤트 구조를 모델링할 수 있는 새로운 작업—시간적 복합 이벤트 스키마 유도—를 개발하기 위해.
• 내재적 스키마 평가와 외재적 이벤트 예측을 모두 지원하는 확률적, 그래프 기반 스키마 라이브러리를 구축하기 위해.
• 정보 추출 시스템에서 유도된 노이즈가 있는 이벤트 추출 결과에도 강인한 데이터 기반의 스키마 유도 시스템을 구축하기 위해.
• 연구 목적을 위해 사용 가능한 새로운 대규모 수작업 레이블링 코퍼스 6,399건을 공개하기 위해.

제안 방법

• 시간 순서에 따라 이벤트 유형과 관련자를 예측하는 자동 회귀적 그래프 생성 모델인 시간적 이벤트 그래프 모델(Tegm)을 제안한다.
• 이벤트와 실체를 노드로, 시간 순서와 관련 관계(예: part_whole, agent)를 간선으로 사용하여 이벤트 그래프를 모델링한다.
• 핵심 참조 관련자를 전파하기 위해 복사 메커니즘을 사용한다(예: '체포' 이벤트에서의 피의자는 이전 '공격' 이벤트의 공격자와 동일하다).
• 그래프 생성 과정에서 시간적 및 관계적 종속성을 인코딩하기 위해 간선 인식 메시지 전파를 통합한다.
• 대규모 코퍼스에서 자동으로 추출된 이벤트 그래프를 기반으로 엔트로피 손실을 사용한 순서 생성을 위한 엔드 투 엔드 학습을 수행한다.
• 모델을 무조건적 스키마 라이브러리 생성과 조건부 그래프 보완(앞서 예측/뒤로 예측)에 모두 활용하여 이벤트 예측을 지원한다.

실험 결과

연구 질문

• RQ1 선형적 또는 원자적 스키마 모델에 비해 그래프 기반 표현이 실제 세계의 복잡하고 다차원적인 이벤트의 구조를 더 잘 포착할 수 있는가?
• RQ2 학습된 확률적 이벤트 그래프 모델이 향후 이벤트 예측에서 인간이 만든 스키마를 얼마나 뛰어넘을 수 있는가?
• RQ3 골드 표준 애너테이션 대신 노이즈가 있는 자동으로 추출된 이벤트 그래프로 훈련했을 때 스키마 유도 방법의 강인성은 어느 정도인가?
• RQ4 유도된 그래프 스키마가 관련 확률과 함께 정확한 다중 가설 예측을 지원할 수 있는가?
• RQ5 내재적 및 외재적 설정 모두에서 유도된 복합 이벤트 스키마의 품질 평가에 가장 효과적인 메트릭은 무엇인가?

주요 결과

• 제안된 시간적 이벤트 그래프 모델은 향후 이벤트 예측에서 인간이 만든 스키마를 크게 뛰어넘어 HITS@1에서 23.8% 향상된 성능을 기록한다.
• 내재적 평가 결과, 유도된 스키마 라이브러리가 스키마 매칭 및 인스턴스 그래프 퍼플렉서티 측면에서 선형 표현보다 뛰어나다는 것이 입증되었다.
• 노이즈가 있는 자동으로 추출된 이벤트 그래프로 훈련되었음에도 불구하고 모델은 강력한 예측 성능을 유지하여 추출 오류에 강인함을 입증하였다.
• 모델은 시간 순서와 관련 관계(핵심 참조, part_whole 등)를 정확히 반영한 일관되고 의미적으로 유의미한 이벤트 그래프를 생성한다.
• 골드 표준 스키마와 함께 제공된 새로운 6,399건의 문서 코퍼스 공개로, 복합 이벤트 스키마 유도 분야의 재현 가능 평가 및 향후 연구가 가능해졌다.
• 이 프레임워크는 무조건적 스키마 라이브러리 생성과 조건부 이벤트 예측(앞서 예측/뒤로 예측)을 모두 성공적으로 지원하여 다중 가설 예측을 가능하게 하였다.