[논문 리뷰] Structured Interpretation of Temporal Relations

Yuchen Zhang, Nianwen Xue|arXiv (Cornell University)|2018. 08. 23.

Natural Language Processing Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 시간적 관계를 구조적으로 해석하기 위해 사건과 시간 표현을 의존성 트리로 모델링하는 방법을 제안한다. 여기서 각 노드는 시간적 해석을 위한 유일한 전행어(antecedent)에 의존한다. 이 접근법은 뉴스 및 서사 장르에서 고정된 상호 평가 일致도(F1 > 0.72)를 달성하였으며, 결과적으로 생성된 코퍼스는 시간적 추론 연구를 위해 공개되어 있다.

ABSTRACT

Temporal relations between events and time expressions in a document are often modeled in an unstructured manner where relations between individual pairs of time expressions and events are considered in isolation. This often results in inconsistent and incomplete annotation and computational modeling. We propose a novel annotation approach where events and time expressions in a document form a dependency tree in which each dependency relation corresponds to an instance of temporal anaphora where the antecedent is the parent and the anaphor is the child. We annotate a corpus of 235 documents using this approach in the two genres of news and narratives, with 48 documents doubly annotated. We report a stable and high inter-annotator agreement on the doubly annotated subset, validating our approach, and perform a quantitative comparison between the two genres of the entire corpus. We make this corpus publicly available.

연구 동기 및 목표

• 비구조적이고 이원적인 시간 관계 모델링의 한계를 해결하기 위해, 이는 일관성 없고 불완전한 annotation을 초래한다.
• 사건과 시간 표현 간의 의존성 관계를 모델링하여 언어학적으로 탄탄한 시간적 해석의 구조적 프레임워크를 제공한다.
• 조합 폭발을 줄이고 전이성 충돌을 해결함으로써 시간 관계의 계산 모델링을 향상시킨다.
• 뉴스 및 서사 장르에서 약 235건의 문서를 애너테이션한 코퍼스를 바탕으로 높은 상호 평가 일치도를 통해 접근법을 검증한다.
• 시간 관계 분석 및 후속 NLP 작업을 위한 공개 가능한, 장르가 다양한 코퍼스를 제공한다.

제안 방법

• 각 노드(사건 또는 시간 표현)가 정확히 하나의 부모를 가지는 의존성 트리를 구축하여, 시간적 해석을 위한 기준 시간을 표현한다.
• 각 의존성을 시간적 연역(instance)으로 정의하며, 부모를 전행어로, 자식을 그에 의존하는 연역어(anaphor)로 간주한다.
• 각 연역어에 대해 하나의 전행어만 허용하여 트리의 구조를 유지하고 시간적 기준의 모호성을 방지한다.
• 뉴스 및 서사 장르에서 235건의 문서(48건은 이중 애너테이션)를 애너테이션하며, 기준 시간과 간선 관계를 명시적으로 표기한다.
• 의존성 구조에서 유도된 관계에 대해 전이성 성질을 적용하여 추가적인 시간 관계를 추론함으로써 이원적 갈등을 피한다.
• F1 점수를 사용하여 장르 간 시간 관계 인식, 분류, 관계 레이블링의 상호 평가 일치도를 평가한다.

실험 결과

연구 질문

• RQ1 시간적 연역에 기반한 의존성 트리 구조가 시간 관계 애너테이션의 일관성과 완전성 향상에 기여하는가?
• RQ2 제안된 구조적 접근법을 사용할 때, 뉴스 및 서사 장르 간 상호 평가 일치도는 어떻게 달라지는가?
• RQ3 사건과 시간 표현의 분포 측면에서 뉴스와 서사 텍스트 간 시간적 구조의 차이는 무엇인가?
• RQ4 시간 관계 유형(예: 이전, 겹침, 종속)의 분포는 뉴스와 서사 텍스트 간에 어떻게 다를까?
• RQ5 정적 상태(Stative)와 동적 행동(Eventive)은 장르 간 의존성 트리의 구조적 차이에 얼마나 기여하는가?

주요 결과

• 제안된 의존성 트리 접근법은 두 장르 모두에서 F1 점수 0.72 이상을 기록하며 높고 안정된 상호 평가 일치도를 달성하였다.
• 뉴스 텍스트는 시간 표현 비율(20%)과 겹침 관계 비율(54%)이 높았고, 서사 텍스트는 더 많은 동적 행동 사건(51%)과 '이전' 관계(53%)를 보였다.
• 뉴스에서 정적 상태 사건은 다른 정적 상태 사건을 부모로 갖는 경우가 많아(57%) 깊은 분지가 형성되었고, 서사 텍스트에서는 정적 상태 사건의 49%가 동적 행동 부모에 직접 의존하여 짧은 분지가 형성되었다.
• 시간 표현 유형 간 유의미한 차이가 있었으며, 서사 텍스트에서 모호한 시간 표현 비율이 더 높았다(67% 대 뉴스 22%).
• 서사 텍스트에서 사건 인식과 분류의 일치도는 낮았으며(F1 = 0.75 및 0.72), 뉴스 텍스트에 비해 더 높은 어려움을 보였다(F1 = 0.94 및 0.95).
• 235건의 문서(48건은 이중 애너테이션 포함)로 구성된 코퍼스는 시간적 추론 및 스토리 타임라인 구축 연구를 위해 공개되어 있다.