[논문 리뷰] Universal Dependency Parsing with a General Transition-Based DAG Parser

Daniel Hershcovich, Omri Abend외 1명|arXiv (Cornell University)|2018. 08. 28.

Natural Language Processing Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 UD 트리와 그래프를 유일한 UCCA 유사 DAG 형식으로 변환함으로써 Universal Dependency 파싱을 위해 적응된 일반적인 신경 전이 기반 DAG 파서인 TUPA를 제안한다. 이 방법은 기존 평가에서 忽略된 바람직한 의존관계들을 파싱 과정의 일부로 성공적으로 학습하며, 폴란드어 LFG 테스트 세트에서 최대 56.55% F1을 기록하여, 단일 통합 모델을 사용한 Enhanced UD 파싱에 대한 첫 번째 지도 학습 접근법을 입증한다.

ABSTRACT

This paper presents our experiments with applying TUPA to the CoNLL 2018 UD shared task. TUPA is a general neural transition-based DAG parser, which we use to present the first experiments on recovering enhanced dependencies as part of the general parsing task. TUPA was designed for parsing UCCA, a cross-linguistic semantic annotation scheme, exhibiting reentrancy, discontinuity and non-terminal nodes. By converting UD trees and graphs to a UCCA-like DAG format, we train TUPA almost without modification on the UD parsing task. The generic nature of our approach lends itself naturally to multitask learning. Our code is available at https://github.com/CoNLL-UD-2018/HUJI

연구 동기 및 목표

• 단일 일반 목적 신경 전이 기반 DAG 파서를 사용하여 Universal Dependencies의 엔드 투 엔드 파싱을 가능하게 하기.
• 사용자 정의된 힌트, 제어, 생략된 동사어 등을 포함한 Enhanced Dependencies를 별도의 후처리 없이 파싱 과정의 자연스러운 출력으로 통합하기.
• 언어 특화 히ュ리스틱에 의존하지 않고 데이터로부터 Enhanced Dependencies를 학습하는 가능성 평가하기.
• UCCA와 UD와 같은 언어적 표현 간의 공통된 구조적 특징을 활용하여 다중 작업 학습의 잠재력을 탐색하기.

제안 방법

• UCCA를 영감으로 삼은 유일한 DAG 형식으로 UD 의존 트리와 그래프를 변환하기 위해, 전단어(Pre-terminal)와 헤드/원거리 간선을 사용하여 문법적 및 의미적 관계를 표현하기.
• 기존에 UCCA를 위해 설계된 전이 기반 신경 파서인 TUPA를 최소한의 아키텍처 수정으로 변환된 UD 데이터에 직접 훈련하기.
• DAG 내 원거리 간선으로 Enhanced Dependencies를 표현하여, 파서가 일반 의존 구조의 일부로 Enhanced Dependencies를 학습할 수 있도록 하기.
• UCCA와 UD 간 형식을 상호 변환하기 위한 이중 방향 프로토콜을 사용하여 재진입성 및 비연속성과 같은 언어적 특징을 유지하기.
• 파싱 성능 향상을 위해 POS 태그, 명명된 실체 인식(NER), 사전 학습된 단어 임베딩(fastText) 등의 특징을 통합하기.
• 각 특징(예: NER, POS, 임베딩, 원거리 간선 전이)의 기여도 평가를 위해 추상화 실험(Ablation studies)를 적용하기.

실험 결과

연구 질문

• RQ1 UCCA 데이터에서 훈련된 일반 목적 신경 DAG 파서가 최소한의 수정으로 Universal Dependency 파싱에 효과적으로 적응될 수 있는가?
• RQ2 통합된 파싱 프레임워크를 사용해 데이터로부터 Enhanced Dependencies를 엔드 투 엔드로 학습할 수 있는 정도는 어느 정도인가?
• RQ3 Enhanced Dependencies의 포함 여부가 파싱 성능에 미치는 영향은 어떠하며, 표준 의존관계와 함께 신뢰성 있게 예측될 수 있는가?
• RQ4 NER, POS, 사전 학습된 임베딩과 같은 외부 특징이 전체 파싱 정확도에 기여하는 정도는 어떠한가?

주요 결과

• TUPA는 경쟁력 있는 LAS 점수를 기록하여, 영어 EWT 테스트 세트에서 72.10% F1을 달성하며 UDPipe 기준선에 근접함을 입증하여, UD 파싱에 대한 효과적인 적응을 보였다.
• 모델은 Enhanced Dependencies를 자연스러운 출력으로 학습하며, 영어 EWT 테스트 세트에서 54.58% F1을 기록했고, 폴란드어 LFG 트리뱅크에서 최고 56.55% F1을 기록함으로써 성능을 입증했다.
• NER 특징을 제거해도 성능 저하가 미미하게 발생함(0.28% LAS-F1 감소)하여, NER 특징은 유용하지만 필수적인 것은 아님을 시사한다.
• POS 특징을 제거하면 성능 저하가 심각하게 발생함(2.87% LAS-F1 감소)하여, 정확한 파싱을 위해 POS 특징의 중요성을 확인했다.
• 원거리 간선을 제거하면 Enhanced LAS-F1이 0.00%로 떨어지며, 원거리 간선이 Enhanced Dependency 예측에 필수적임을 확인했다.
• 사전 학습된 단어 임베딩은 성능을 약간 향상시켜, 저자원 환경에서 형태적 및 문법적 패턴을 보다 잘 포착하는 데 도움이 될 수 있음을 시사한다.