[논문 리뷰] How consistent are our discourse annotations? Insights from mapping RST-DT and PDTB annotations.

Vera Demberg, Fatemeh Torabi Asr외 1명|arXiv (Cornell University)|2017. 04. 28.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 논의 구조 어노테이션의 프레임워크 간 일관성을 평가하기 위해 펜 논의 트리뱅크(Penn Discourse Treebank, PDTB)와 수리적 구조 이론 논의 트리뱅크(Rhetorical Structure Theory Discourse Treebank, RST-DT)를 맵핑한다. 세그먼트 수준의 정렬 방법을 제안하며, 명시적 관계에 대해서는 높은 일치도를 보이나 암시적 관계에 대해서는 놀랍게 낮은 일치도를 보이며, 이는 주로 두 프레임워크 간 어노테이션 목표와 운영 정의의 차이 때문임을 밝혀낸다.

ABSTRACT

Discourse-annotated corpora are an important resource for the community. However, these corpora are often annotated according to different frameworks, making comparison of the annotations difficult. This is unfortunate, since mapping the existing annotations would result in more (training) data for researchers in automatic discourse relation processing and researchers in linguistics and psycholinguistics. In this article, we present an effort to map two large corpora onto each other: the Penn Discourse Treebank and the Rhetorical Structure Theory Discourse Treebank. We first propose a method for aligning the discourse segments, and then evaluate the observed against the expected mappings for explicit and implicit relations separately. We find that while agreement on explicit relations is reasonable, agreement between the frameworks on implicit relations is astonishingly low. We identify sources of systematic discrepancies between the two annotation schemes; many of the differences in annotation can be traced back to different operationalizations and goals of the PDTB and RST frameworks. We discuss the consequences of these discrepancies for future annotation, and the usability of the mapped data for theoretical studies and the training of automatic discourse relation labellers.

연구 동기 및 목표

• 주요 논의 코퍼스 두 개인 PDTB와 RST-DT 간의 논의 어노테이션 일관성을 평가하기 위해.
• 이론적 프레임워크가 다른 논의 어노테이션을 비교하는 데 도전하는 문제를 다루어 데이터 통합과 모델 훈련을 방해한다.
• 특히 암시적 논의 관계에 대해 PDTB와 RST-DT 어노테이션 체계 간 체계적 차이를 규명하기 위해.
• 이론적 논의 연구와 자동 논의 관계 레이블링을 위한 사용 가능성을 평가하기 위해 맵핑된 데이터를 평가하기 위해.
• 다른 프레임워크 목표와 운영 방식의 영향을 분석하여 향후 논의 어노테이션 관행을 개선하기 위해.

제안 방법

• 텍스트 스팬과 구조적 유사성에 기반해 PDTB와 RST-DT 간 논의 세그먼트를 정렬하는 방법을 제안한다.
• 명시적 및 암시적 논의 관계에 대해 관측된 맵핑과 기대 맵핑을 비교하여 정렬을 평가한다.
• 어노테이션 목표와 운영 정의의 차이를 분석하여 두 프레임워크 간 격차를 분석한다.
• 명시적 및 암시적 관계에 대해 별도로 일치도를 측정하기 위해 정량적 평가 지표를 사용한다.
• 각 프레임워크가 논의 관계 카테고리 정의 및 적용 방식을 어떻게 다르게 하는지 분석하여 불일치의 원인을 규명한다.
• 맵핑된 데이터를 활용하여 자동 논의 관계 분류기 훈련 가능성과 이론적 연구 지원 잠재력을 평가한다.

실험 결과

연구 질문

• RQ1 세그먼트 수준에서 맵핑했을 때 PDTB와 RST-DT의 논의 어노테이션은 어느 정도 일관성 있는가?
• RQ2 PDTB와 RST-DT는 명시적 논의 관계에 비해 암시적 관계에 대해 어느 정도 일치도를 보이는가?
• RQ3 PDTB와 RST-DT 어노테이션 체계 간 주요 체계적 격차는 무엇인가?
• RQ4 두 프레임워크의 운영 방식과 목적이 어노테이션 일관성에 어떤 영향을 미치는가?
• RQ5 맵핑된 데이터는 자동 논의 관계 레이블러 훈련이나 이론적 논의 연구 지원에 어느 정도 활용될 수 있는가?

주요 결과

• PDTB와 RST-DT 간 명시적 논의 관계에 대한 일치도는 상당히 높아, 이러한 경우 어노테이션이 일관됨을 시사한다.
• 암시적 논의 관계에 대한 일치도는 놀랍게 낮아, 이 관계들이 프레임워크 간 기본적인 불일치를 겪고 있음을 시사한다.
• 어노테이션의 체계적 격차는 주로 PDTB와 RST 프레임워크의 운영 정의와 이론적 목표의 차이에서 기인한다.
• 암시적 관계에 대한 낮은 일관성은 두 코퍼스의 데이터를 조합하여 자동 논의 관계 분류기 훈련을 수행할 경우 신뢰성에 문제가 있음을 암시한다.
• 맵핑된 데이터는 어노테이션의 차이가 무작위가 아니라 서로 다른 설계 원칙에서 비롯됨을 드러내며, 프레임워크 간 비교 가능성에 제한을 둔다.
• 연구 결과는 데이터 재사용성과 이론적 일관성을 향상시키기 위해 논의 어노테이션 프레임워크 간 더 큰 일치가 필요함을 강조한다.