[논문 리뷰] Is POS Tagging Necessary or Even Helpful for Neural Dependency Parsing?

Houquan Zhou, Zhang Yu외 2명|arXiv (Cornell University)|2020. 03. 06.

Natural Language Processing Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 문자 기반 표현을 사용할 때도 품사 태깅이 신경망 의존성 파싱에 여전히 유용한지 조사한다. 영어 및 중국어 데이터셋에서 Share-Loose, Share-Tight, Stack이라는 세 가지 다중 작업 학습 프레임워크를 사용하여, Stack 방법을 통해 공동 학습할 경우 품사 태깅이 문법에 민감한 태그의 모호성 감소로 인해 BERT와 이질적인 품사 태깅 데이터를 사용하더라도 파싱 정확도를 크게 향상시킴을 발견하였다.

ABSTRACT

In the pre deep learning era, part-of-speech tags have been considered as indispensable ingredients for feature engineering in dependency parsing. But quite a few works focus on joint tagging and parsing models to avoid error propagation. In contrast, recent studies suggest that POS tagging becomes much less important or even useless for neural parsing, especially when using character-based word representations. Yet there are not enough investigations focusing on this issue, both empirically and linguistically. To answer this, we design and compare three typical multi-task learning framework, i.e., Share-Loose, Share-Tight, and Stack, for joint tagging and parsing based on the state-of-the-art biaffine parser. Considering that it is much cheaper to annotate POS tags than parse trees, we also investigate the utilization of large-scale heterogeneous POS tag data. We conduct experiments on both English and Chinese datasets, and the results clearly show that POS tagging (both homogeneous and heterogeneous) can still significantly improve parsing performance when using the Stack joint framework. We conduct detailed analysis and gain more insights from the linguistic aspect.

연구 동기 및 목표

• 딥 러닝 시대에 문자 수준 표현을 사용할 때도 품사 태깅이 신경망 의존성 파싱에 여전히 유용한지 조사하는 것.
• 품사 태깅과 의존성 파싱을 공동으로 수행하기 위한 다양한 다중 작업 학습 프레임워크(Share-Loose, Share-Tight, Stack)를 비교하는 것.
• 동질적 및 대규모 이질적 품사 태깅 데이터가 파싱 성능에 미치는 영향을 평가하는 것.
• 문자 기반 단어 표현의 발전에도 불구하고 품사 태깅이 여전히 도움이 되는 이유에 대한 언어학적 및 경험적 통찰을 제공하는 것.

제안 방법

• 최신 이중선형 의존성 파서를 기반으로 하여, Share-Loose, Share-Tight, Stack이라는 세 가지 다중 작업 학습 프레임워크를 설계하고 구현한다.
• 단어 임베딩과 문자 수준의 LSTM(CharsLSTM) 표현을 입력 특징으로 사용하여 단어 수준의 의미와 형태론을 모델링한다.
• Stack 프레임워크를 적용하여, 품사 태깅 헤드에서 생성된 은닉 표현을 파싱 헤드의 추가 입력으로 제공함으로써, 파싱 손실이 태깅 구성 요소로 간접적으로 역전파될 수 있도록 한다.
• 영어(PTB) 및 중국어(CTB, PKU)의 벤치마크 데이터셋을 사용하여, 동일하게 애너테이션된(공동 애너테이션된) 및 별도로 애너테이션된(분리 애너테이션된) 품사 태그를 모두 사용하여 학습한다.
• 절단 실험과 언어학적 분석을 수행하여, 품사 태깅의 모호성이 파싱 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 문자 기반 단어 표현을 사용할 때도 품사 태깅은 의존성 파싱 성능을 향상시키는가?
• RQ2 다양한 다중 작업 학습 프레임워크(Share-Loose, Share-Tight, Stack)는 공동 품사 태깅 및 파싱에서 어떻게 비교되는가?
• RQ3 저비용으로 생산 가능한 대규모 이질적 품사 태깅 데이터는 여전히 파싱 정확도를 향상시킬 수 있는가?
• RQ4 CharsLSTM가 데이터 희소성과 형태론 모델링을 줄였음에도 불구하고, 품사 태깅이 여전히 도움이 되는 이유는 무엇인가?

주요 결과

• Stack 다중 작업 학습 프레임워크는 파ipelined 및 다른 공동 학습 방법보다 일관되게 뛰어나며, 모든 데이터셋에서 UAS와 LAS 모두 최고의 성능 향상을 기록한다.
• 이질적 품사 태깅 데이터(예: 중국어의 PKU)를 사용한 품사 태깅은 특히 Stack 프레임워크와 조합할 경우 파싱 성능을 크게 향상시킨다.
• Stack 방법을 통한 공동 학습은 오류 전파를 줄이고, {NN, VV} 및 {VV, AD}와 같은 문법에 민감한 품사 태깅의 모호성을 더 잘 다룰 수 있게 하여, 이로 인한 파싱 정확도의 급격한 하락을 방지한다.
• BERT를 사용하더라도 Stack 프레임워크 하에서는 품사 태깅이 여전히 유익하며, 이는 컨텍스트 임베딩을 초월하여 품사 태깅이 보다 보편적인 문법적 인도적 편향을 제공하기 때문임을 시사한다.
• 언어학적 분석 결과, 파싱 오류는 특히 문법에 민감한 태그 쌍에서 잘못된 품사 태깅과 빈번히 관련되어 있으며, 이는 두 요소 간의 강한 상호의존성을 확인한다.