[논문 리뷰] All Roads Lead to UD: Converting Stanford and Penn Parses to English Universal Dependencies with Multilayer Annotations

Siyao Peng, Amir Zeldes|arXiv (Cornell University)|2019. 09. 02.

Natural Language Processing Techniques참고 문헌 12인용 수 9

한 줄 요약

이 논문은 영어의 골드스탠다드 스탠퍼드 타입화된 의존관계(SD) 및 펜 스타일 구성 트리에서 Universal Dependencies(UD) 2.2로 변환하는 높은 정확도의 규칙 기반 방법을 제시한다. 핵심 참고, 명명된 실체, 논의 구조 등 다층적 애너테이션을 통해 SD-to-UD 변환은 0.5% 미만의 오류율을 기록하며, 구조 트리 기반 변환은 부족한 구문적 기능 명시로 인해 약 10%의 오류를 겪는 바, 유의미하게 뛰어난 성능을 보인다.

ABSTRACT

We describe and evaluate different approaches to the conversion of gold standard corpus data from Stanford Typed Dependencies (SD) and Penn-style constituent trees to the latest English Universal Dependencies representation (UD 2.2). Our results indicate that pure SD to UD conversion is highly accurate across multiple genres, resulting in around 1.5% errors, but can be improved further to fewer than 0.5% errors given access to annotations beyond the pure syntax tree, such as entity types and coreference resolution, which are necessary for correct generation of several UD relations. We show that constituent-based conversion using CoreNLP (with automatic NER) performs substantially worse in all genres, including when using gold constituent trees, primarily due to underspecification of phrasal grammatical functions.

연구 동기 및 목표

• 골드스탠다드 스탠퍼드 타입화된 의존관계(SD)를 Universal Dependencies(UD) 2.2로 변환하는 정확도를 평가하는 것.
• 고정된 문법 트리 외에 어떤 추가 애너테이션 레이어가 고정밀도 UD 변환을 위해 필요한지 규명하는 것.
• CoreNLP 기반의 구성 트리 기반 변환과 비교하여 SD 기반 변환의 오류율과 의존관계 품질을 평가하는 것.
• 여러 장르에 걸쳐 85,000개 이상 토큰을 포함하는 새로운 다층 애너테이션을 적용한 영어 UD 코퍼스를 공개하는 것.

제안 방법

• SD 의존관계를 UD 2.2 관계로 매핑하기 위해 토큰 속성과 문법 관계를 기반으로 구성 가능한 규칙을 사용하는 규칙 기반 변환 시스템인 DepEdit를 사용한다.
• 핵심 참고, 명명된 실체, 논의 구조(RST), 정보 상태 등 보조 애너테이션 레이어를 사전 처리 단계에 통합하여 모호하거나 드문 UD 관계를 해결한다.
• 변환 파이프라인은 외부 애너테이션으로 문법 트리를 풍부화하는 사전 처리, 규칙 기반 변환, 그리고 udapi API를 통한 문장 부호 첨부 후처리를 포함한다.
• 각 애너테이션 레이어가 변환 정확도에 미치는 영향을 평가하여, 각 레이어가 오류 감소에 기여하는 정도를 분리 분석한다.
• 구성 트리 기반 변환의 경우, Gold 구성 트리와 CoreNLP를 통한 자동 파싱 트리를 모두 사용하여 파싱 품질이 최종 UD 출력에 미치는 영향을 평가한다.
• 최종 UD 출력은 골드스탠다드 UD 2.2와 비교되며, 오류율은 토큰 및 관계 유형별로 측정된다.

실험 결과

연구 질문

• RQ1 스탠퍼드 타입화된 의존관계(SD)에서 Universal Dependencies(UD) 2.2로의 순수 규칙 기반 변환의 정확도는 어떠한가?
• RQ2 고정된 문법 트리 외에 어떤 추가 애너테이션 레이어가 SD-to-UD 변환에서 거의 완벽한 정확도를 달성하기 위해 필요한가?
• RQ3 Gold 구성 트리를 사용할 때, CoreNLP 기반의 구성 트리 기반 변환과 비교해 SD 기반 변환의 정확도는 어떻게 다른가?
• RQ4 SD-to-UD와 구성 트리 기반 변환 간에 비프로젝티브 의존관계는 어느 정도 다를 수 있으며, 이러한 차이의 원인은 무엇인가?
• RQ5 다층 애너테이션은 '호칭어', '수정 대체어', '이탈어'와 같은 드문 UD 관계의 탐지 및 정확한 레이블링을 향상시킬 수 있는가?

주요 결과

• 규칙 기반 방법을 사용한 순수 SD-to-UD 변환은 여러 장르에서 약 1.5%의 오류율을 기록한다.
• 핵심 참고, 명명된 실체, 논의 구조 등 추가 애너테이션 레이어를 통합함으로써 오류율은 0.5% 이하로 감소한다.
• CoreNLP를 통한 구성 트리 기반 변환은 골드 구성 트리 사용 시에도 구문적 기능의 부족한 명시로 약 10%의 오류율을 보인다.
• SD-to-UD 변환은 원래의 SD(0.63%)나 C2UD(0.29%)보다 더 많은 비프로젝티브 의존관계를 도입한다(예: GUM에서 0.79%), 주로 역방향으로 연결된 공통어(cc)가 주요 원인이다.
• 수동적으로 수정된 영어 웹 트리뱅크(EWT) V2.2의 UD 버전은 SD2UD 변환된 GUM의 UD 버전(0.79%)보다 비프로젝티비티가 낮다(0.46%)는 점에서 장르 차이 또는 EWT 내 잔류된 부족한 명시 문제를 시사한다.
• 이 연구는 UD 관계 'orphan'이 SD에서 기본적으로 지원되지 않으며, 이에 대한 정확한 애너테이션은 외부 지식이 필요하다는 점을 규명하여 현재 의존관계 체계의 격차를 드러낸다.