[논문 리뷰] A Multi-Axis Annotation Scheme for Event Temporal Relations

Ning Qiang, Hao Wu외 1명|arXiv (Cornell University)|2018. 04. 20.

Semantic Web and Ontologies참고 문헌 24인용 수 71

한 줄 요약

이 논문은 이벤트 시간 관계를 위한 다축 주석 체계를 도입하고 시작점 앵커링을 엔드포인트보다 강조하며, 시작점에 기반한 IAA 개선 및 시작점 데이터셋 MATRES의 크라우드소싱 가능성을 보여준다.

ABSTRACT

Existing temporal relation (TempRel) annotation schemes often have low inter-annotator agreements (IAA) even between experts, suggesting that the current annotation task needs a better definition. This paper proposes a new multi-axis modeling to better capture the temporal structure of events. In addition, we identify that event end-points are a major source of confusion in annotation, so we also propose to annotate TempRels based on start-points only. A pilot expert annotation using the proposed scheme shows significant improvement in IAA from the conventional 60's to 80's (Cohen's Kappa). This better-defined annotation scheme further enables the use of crowdsourcing to alleviate the labor intensity for each annotator. We hope that this work can foster more interesting studies towards event understanding.

연구 동기 및 목표

• TempRel 주석 체계에서 낮은 주석자 간 일치를 재정의된 다중 의미 축에 따라 해결하여 작업을 재정의한다.
• 엔드포인트의 모호성으로 인한 신뢰도 저하를 피하고 시작점에 집중해 신뢰성 향상을 도모한다.
• 강력한 품질 관리가 가능한 크라우딩크를 통한 확장 가능한 데이터 수집 enabling.
• 시작점 기반 TempRel 주석을 지원하는 새로운 데이터셋 MATRES를 TB-Dense와 비교한다.
• 개선된 작업 정의성과 TempRel 추출의 잠재적 이익을 보여주는 기준 시스템을 제공한다.]
• method ["사건을 주요 축 및 직교 축으로 정렬하는 다축 모델링을 제안하고, 동일 축의 쌍만 비교한다.","시간 간격 관계를 시작점 비교(start-start, start-end, end-start, end-end)로 분해하여 표현력을 유지하면서 라벨링을 단순화한다.","주석을 시작점(t_start)에 집중하고 엔드포인트 비교는 현재 작업에 필요하지 않다고 간주하며 더 높은 모호성과 낮은 신뢰성을 인용한다.","두 단계 크라우드소싱 워크플로우를 구현: 주어진 축에서 이벤트가 앵커링 가능한지 판단하는 앵커러빌리티 주석, 이후 앵커링 가능한 이벤트 간의 관계 주석.","크라우드소싱에 대한 품질 관리(골드 질문, 적격성 테스트, 다수결 집계) 및 시작점 순서의 양상 Q1/Q2 모호성 점검을 통한 모호한 관계 처리 절차를 도입한다."]
• research_questions:[

제안 방법

실험 결과

연구 질문

• RQ1 다축 주석 체계가 전통적인 단일 축 체계에 비해 TempRel 주석의 IAA를 향상시킬 수 있는가?
• RQ2 시작점에 집중하는 것이 인지 부담과 주석 오류를 줄여 신뢰할 수 있는 크라우드소스 TempRel 데이터셋을 가능하게 하는가?
• RQ3 MATRES 데이터셋은 주석 품질 및 데이터 간 일치 측면에서 TB-Dense와 어떻게 비교되는가?
• RQ4 새로운 주석 체계가 기준 분류기를 사용한 TempRel 추출 성능에 어떤 영향을 미치는가?

주요 결과

• 전문가 파일럿 주석에서 메인 축의 IAA가 0.84(Cohen’s Kappa)로 도출되어 이전의 약 0.60 IAA보다 현저히 높았다.
• 품질 관리가 포함된 크라우드소싱으로 주석이 신뢰할 수 있게 나타났고: 골드 데이터에서 앵커러빌리티 및 관계 단계가 높은 정확도와 강한 근로자 합의도를 보였다.
• MATRES는 TempRel 주석 명확성과 주석 신뢰도에서 상당한 향상을 보여 시작점 기반 라벨링과 직교 축을 가능하게 한다.
• TB-Dense와 비교했을 때 MATRES는 시작점 정렬이 더 나은 편이며 골드 표준 및 크라우드 합의와 합리적인 일치를 보인다.
• MATRES의 기준 계층에서의 평균 인지 퍼셉트론 시스템은 경쟁력 있는 F1 점수를 달성하여 새로운 체계 하에서 작업이 잘 정의되고 학습 가능함을 시사한다.