[논문 리뷰] How compatible are our discourse annotations? Insights from mapping RST-DT and PDTB annotations

Vera Demberg, Fatemeh Torabi Asr외 1명|arXiv (Cornell University)|2017. 04. 28.

Natural Language Processing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 동일한 텍스트를 다른 프레임워크로 주석 처리한 RST-DT와 PDTB 2.0 코퍼스 간의 담론 단위 및 관계를 자동으로 정렬하는 방법을 제안한다. 기존의 이론적 매핑 제안을 실제 주석 데이터와 비교 평가하여, 명시적 관계에서는 높은 일치도를 보였지만 암시적 관계에서는 낮은 일치도를 보였으며, 분할 방식과 운영 정의의 차이로 인해 체계적인 차이가 발생하는 것으로 드러났다.

ABSTRACT

Discourse-annotated corpora are an important resource for the community, but they are often annotated according to different frameworks. This makes comparison of the annotations difficult, thereby also preventing researchers from searching the corpora in a unified way, or using all annotated data jointly to train computational systems. Several theoretical proposals have recently been made for mapping the relational labels of different frameworks to each other, but these proposals have so far not been validated against existing annotations. The two largest discourse relation annotated resources, the Penn Discourse Treebank and the Rhetorical Structure Theory Discourse Treebank, have however been annotated on the same text, allowing for a direct comparison of the annotation layers. We propose a method for automatically aligning the discourse segments, and then evaluate existing mapping proposals by comparing the empirically observed against the proposed mappings. Our analysis highlights the influence of segmentation on subsequent discourse relation labeling, and shows that while agreement between frameworks is reasonable for explicit relations, agreement on implicit relations is low. We identify several sources of systematic discrepancies between the two annotation schemes and discuss consequences of these discrepancies for future annotation and for the training of automatic discourse relation labellers.

연구 동기 및 목표

• RST-DT와 PDTB 프레임워크 간의 담론 관계 레이블을 매핑하는 이론적 제안의 경험적 타당성을 평가하는 것.
• 서로 다른 주석 체계를 가진 주요 담론 주석 코퍼스인 RST-DT와 PDTB 2.0 간의 호환성 수준을 조사하는 것.
• 주석 지침의 분할 및 운영 정의 방식의 차이로 인해 발생하는 담론 관계 레이블링의 체계적 차이를 규명하는 것.
• 다중 프레임워크 데이터를 활용한 향후 주석 지침 개선 및 자동 담론 관계 분류기 학습을 위한 통찰을 제공하는 것.
• 정렬된 RST-DT와 PDTB 2.0 코퍼스의 매핑된 버전을 연구 목적을 위해 공개 제공하는 것.

제안 방법

• 스팬 수준의 겹침과 구조적 유사도를 기반으로 RST-DT와 PDTB 2.0 간의 담론 단위를 자동으로 정렬하는 방법을 개발하였다.
• 구문적, 의미적, 담론 수준의 특징을 조합하여 두 주석 체계 간의 담론 단위를 매칭시켰다.
• 기존의 이론적 매핑 제안(예: Bunt & Prasad, 2016; Benamara & Taboada, 2015; Chiarcos, 2014; Sanders et al., 2016)을 정렬된 데이터에 적용하여 경험적 평가를 수행하였다.
• 제안된 매핑을 실제 주석과 비교하여 정확도와 일관성을 평가하였으며, 특히 명시적 관계와 암시적 관계에 초점을 맞추었다.
• 레이블이 일치하지 않는 사례를 분석하여 RST-DT의 Contrast가 종종 PDTB의 Concession으로 매핑되는 등의 체계적 이심을 규명하였다.
• 향후 담론 구문 분석 및 주석 표준화 연구를 지원하기 위해 공개 가능한 정렬 코퍼스를 생성하였다.

실험 결과

연구 질문

• RQ1 RST-DT와 PDTB 2.0 간의 담론 관계 레이블을 매핑하는 데 있어 이론적 제안이 동일 텍스트의 실제 주석과 얼마나 잘 일치하는가?
• RQ2 분할 전략의 선택이 RST-DT와 PDTB 2.0에서 담론 관계 레이블링에 얼마나 영향을 미치는가?
• RQ3 왜 두 프레임워크에서 암시적 관계에 대해 명시적 관계보다 일치도가 낮은가?
• RQ4 특히 대조(CoNtrast)나 인과(Causation)와 같은 특정 관계 유형에서 RST-DT와 PDTB 2.0 간의 체계적 차이가 무엇이 있는가?
• RQ5 관찰된 불일치는 향후 주석 지침 개선과 자동 담론 관계 분류기 학습에 어떻게 기여할 수 있는가?

주요 결과

• RST-DT와 PDTB 2.0 간의 일치도는 명시적 관계에서 높으며, 특히 연결어가 포함된 경우에 특히 높다. 그러나 연결어의 다의어성에 따라 변동성이 크다.
• 특히 'but'와 같은 연결어는 대조적 또는 유보적 관계를 모두 나타낼 수 있어, 두 프레임워크 간 레이블 적용이 일관되지 않음을 보여준다.
• 암시적 관계의 경우 두 프레임워크 간 일치도가 낮아, 현재 주석 처리 방식이 체계적으로 일관된 레이블링을 보장하지 못함을 시사한다.
• 체계적 불일치가 발견되었으며, RST-DT의 인과 관계는 종종 PDTB에서 추가적 관계로 레이블링되며, RST-DT의 대조 관계는 자주 PDTB의 유보 관계로 매핑된다.
• 주석 지침의 운영 정의—예를 들어 암시적 연결어의 사용 방식—이 관계 레이블링 결과에 실질적인 영향을 미친다.
• 매핑된 코퍼스 분석을 통해 PDTB의 유보 관계나 RST의 대조 관계와 같은 특정 관계 유형은 더 정교한 정의가 필요하여 프레임워크 간 일관성을 향상시켜야 한다.