[논문 리뷰] Extracting Temporal Event Relation with Syntactic-Guided Temporal Graph Transformer.

Shuaicheng Zhang, Lifu Huang외 1명|arXiv (Cornell University)|2021. 04. 19.

Topic Modeling참고 문헌 43인용 수 10

한 줄 요약

이 논문은 문장에서 문법적 그래프를 구성하고 시간에 초점된 어텐션 메커니즘을 사용하여 사건 간 시간 관계를 모델링하는 문법 지도 시간 그래프 트랜스포머를 제안한다. 이는 MATRES 및 TB-Dense 데이터셋에서 최신 기술 수준의 성능을 달성하며, 종단 간 시간 관계 추출 및 분류 모두에서 이전 방법들을 능가한다.

ABSTRACT

Extracting temporal relations (e.g., before, after, concurrent) among events is crucial to natural language understanding. Previous studies mainly rely on neural networks to learn effective features or manual-crafted linguistic features for temporal relation extraction, which usually fail when the context between two events is complex or wide. Inspired by the examination of available temporal relation annotations and human-like cognitive procedures, we propose a new Temporal Graph Transformer network to (1) explicitly find the connection between two events from a syntactic graph constructed from one or two continuous sentences, and (2) automatically locate the most indicative temporal cues from the path of the two event mentions as well as their surrounding concepts in the syntactic graph with a new temporal-oriented attention mechanism. Experiments on MATRES and TB-Dense datasets show that our approach significantly outperforms previous state-of-the-art methods on both end-to-end temporal relation extraction and temporal relation classification.

연구 동기 및 목표

• 시간 관계 추출에서 복잡하거나 장거리의 문맥적 의존성을 다루는 데에 한계가 있는 기존의 신경망 및 규칙 기반 방법의 문제를 해결하기 위해.
• 문장의 문법적 구조를 명시적으로 모델링하여 사건 간 시간적 연결을 더 잘 식별하기 위해.
• 새로운 어텐션 메커니즘을 사용해 사건 경로와 주변 개념들로부터 가장 유의미한 시간적 단서를 자동으로 국소화하기 위해.
• 현재 최신 기술 수준의 방법을 뛰어넘는 종단 간 시간 관계 추출 및 분류 작업의 성능을 향상시키기 위해.

제안 방법

• 문장 하나 또는 두 개로부터 문법적 의존 관계를 표현하기 위해 문법적 그래프를 구축한다.
• 사건 언급어와 그 주변 개념을 그래프의 노드로 표현하고, 의존 관계를 간선으로 설정한다.
• 문법적 그래프 내에서 두 사건 언급어 간에 가장 관련성이 높은 경로와 단서에 집중하기 위해 시간에 초점된 어텐션 메커니즘을 적용한다.
• 그래프 트랜스포머 아키텍처를 사용해 문법적 구조를 인코딩하고 관계 분류를 위한 문맥적 표현을 학습한다.
• 시간 관계 예측(예: 이전, 이후, 동시 등)을 위해 애너테이션된 데이터셋에서 모델을 종단 간으로 훈련한다.
• 문법적 구조 내에서 경로 기반 추론과 단서 국소화에 중점을 두어 인간과 유사한 인지적 추론을 구현한다.

실험 결과

연구 질문

• RQ1 문법적 그래프 표현이 복잡하거나 장거리의 문맥적 의존성을 시간 관계 추출에서 더 잘 모델링할 수 있는가?
• RQ2 시간에 특화된 어텐션 메커니즘이 사건 경로를 따라 가장 유의미한 단서를 얼마나 효과적으로 식별할 수 있는가?
• RQ3 그래프 기반 트랜스포머에 문법적 구조를 통합하면 표준 신경망에 비해 시간 관계 분류 성능이 향상되는가?
• RQ4 모델이 실제 텍스트에서 다양한 시간 관계 패턴에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 모델은 MATRES 벤치마크에서 최신 기술 수준의 성능을 달성하여 종단 간 시간 관계 추출에서 이전 방법들을 크게 능가한다.
• TB-Dense 데이터셋에서 모델은 시간 관계 분류에서 뛰어난 성능을 보이며 다양한 시간 패턴에 대한 강력한 일반화 능력을 보여준다.
• 문법적 그래프의 사용은 복잡하거나 넓은 맥락 상황에서도 시간적 단서를 더 정확하게 식별할 수 있도록 한다.
• 시간에 초점된 어텐션 메커니즘이 관련 경로와 단서를 성공적으로 강조하여 해석 가능성과 성능을 향상시켰다.
• 기존 모델이 어려워하는 사건 간 장거리 의존성 문제를 효과적으로 다룰 수 있는 강건성을 보였다.
• 제거 실험 결과, 문법적 그래프 구축과 시간 어텐션 메커니즘 모두가 전체 성능 향상에 기여한다는 것이 확인되었다.