[논문 리뷰] Improving Temporal Relation Extraction with a Globally Acquired Statistical Resource

Ning Qiang, Hao Wu외 2명|arXiv (Cornell University)|2018. 04. 17.

Data Management and Algorithms참고 문헌 30인용 수 4

한 줄 요약

이 논문은 20년간의 뉴욕타임스 기사에서 유래한 TemProb라는 확률적 지식 기반을 소개한다. 이 기반은 사건 간의 일반적인 시간적 순서를 포괄한다. 기존의 시간관계 추출 시스템에 이 글로벌하게 확보된 통계적 자원을 통합함으로써, 저자들은 TimeBank-Dense 기준에서 유의미한 성능 향상을 달성하였으며, 황금 표준 이벤트 특징이 없는 상황에서도 최신 기술을 능가하는 성능을 보였다.

ABSTRACT

Extracting temporal relations (before, after, overlapping, etc.) is a key aspect of understanding events described in natural language. We argue that this task would gain from the availability of a resource that provides prior knowledge in the form of the temporal order that events usually follow. This paper develops such a resource -- a probabilistic knowledge base acquired in the news domain -- by extracting temporal relations between events from the New York Times (NYT) articles over a 20-year span (1987--2007). We show that existing temporal extraction systems can be improved via this resource. As a byproduct, we also show that interesting statistics can be retrieved from this resource, which can potentially benefit other time-aware tasks. The proposed system and resource are both publicly available.

연구 동기 및 목표

• 시간관계 추출 시스템에서 일반적인 사건 간 시간적 순서에 대한 사전 지식의 부족을 해결하기 위해.
• 20년간의 뉴스 코퍼스에서 유래한 대규모 확률적 지식 기반을 구축하기 위해.
• 글로벌 통계적 지식을 통합함으로써 기존 시간관계 추출 시스템의 성능 향상이 가능함을 입증하기 위해.
• 시간 인식 NLP 작업에 유용한 공개 가능한 자원과 시스템을 제공하기 위해.

제안 방법

• 기존의 시간관계 추출 시스템을 사용하여 1987~2007년 사이의 100만 건 이상의 뉴욕타임스 기사에서 사건 간 시간관계를 추출하였다.
• 이벤트 쌍 간의 '이전/이후/중첩' 관계의 빈도를 기록하는 확률적 지식 기반인 TemProb를 구축하였다.
• 기존 시간관계 추출 시스템에 글로벌 사전 지식으로서 TemProb를 통합하여 예측을 보정하였다. 이는 국소적 또는 글로벌 방식으로 수행되었다.
• 조건부 랜덤 필드를 사용하여 국소 및 글로벌 추론 환경에서 지식 기반을 적용하였으며, TemProb로부터 유도된 사전 확률을 활용하였다.
• TimeBank-Dense(TBDense) 기준에서 방법을 검증하였으며, 최신 기술 시스템과의 성능을 비교하였다.
• 제안된 시스템과 Ning 등(2017)의 결과를 조합하여 전체 TBDense 데이터셋에 대한 예측을 단순 증강하였다.

실험 결과

연구 질문

• RQ1 일반적으로 확보된 사건 간 시간적 순서의 통계적 자원이 시간관계 추출 성능 향상에 기여할 수 있는가?
• RQ2 이벤트 내용이 누락되었을 때, 사건 순서 패턴에 대한 사전 지식이 모호성을 줄이는 데 얼마나 효과적인가?
• RQ3 황금 표준 이벤트 특징(시제, 아спект, 긍정/부정 등)이 제공되지 않을 경우, TemProb가 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 글로벌 통계적 지식 통합이 기준 데이터셋에서 최신 기술 성능을 달성하는 데 기여할 수 있는가?

주요 결과

• 제안된 시스템은 부분적인 TimeBank-Dense 테스트 세트에서 F1 스코어 55.5를 기록하였으며, CAEVO(47.6 F1)와 Ning 등(2017)(51.5 F1)을 모두 초월하였다.
• 황금 표준 이벤트 특징(시제, 아спект, 기미, 긍정/부정 등)이 없는 상황에서도, 제안된 시스템은 정밀도와 F1 모두에서 CAEVO와 Ning 등(2017)을 뛰어넘었다.
• McNemar’s 검정을 통해 성능 향상의 유의미성이 입증되었으며(p < 0.0005).
• 제안된 시스템의 예측 결과를 Ning 등(2017)의 결과와 단순 조합하여 증강한 결과, 전체 TBDense 데이터셋에서 새로운 최신 기술 F1 스코어 49.2를 기록하였다.
• 전체 TBDense 세트에서 제안된 시스템의 인식 F1 스코어는 49.2에 도달하여, CAEVO(45.7)와 Ning 등(2017)(48.5)를 모두 뛰어넘었다.
• TemProb는 주요 작업 외에도 유의미한 시간 통계를 추출할 수 있어, 다른 시간 인식 NLP 응용 분야에 유용할 수 있음을 입증하였다.