[논문 리뷰] An improved neural network model for joint POS tagging and dependency parsing

Dat Quoc Nguyen, Karin Verspoor|arXiv (Cornell University)|2018. 07. 11.

Topic Modeling참고 문헌 47인용 수 20

한 줄 요약

이 논문은 BiLSTM 기반의 POS 태거와 BIST 그래프 기반 의존성 파서를 통합한 공동 신경망 모델을 제안하며, 태깅 및 파싱 성능을 향상시킨다. 영어 Penn Treebank에서 94.51% UAS, 92.87% LAS, 97.97% POS 정확도로 최신 기술 수준(SOTA) 성능을 달성하여 이전 모델을 능가하며, 다국어 파싱 및 후속 자연어 처리 응용 분야에서 뚜렷한 성과를 보였다.

ABSTRACT

We propose a novel neural network model for joint part-of-speech (POS) tagging and dependency parsing. Our model extends the well-known BIST graph-based dependency parser (Kiperwasser and Goldberg, 2016) by incorporating a BiLSTM-based tagging component to produce automatically predicted POS tags for the parser. On the benchmark English Penn treebank, our model obtains strong UAS and LAS scores at 94.51% and 92.87%, respectively, producing 1.5+% absolute improvements to the BIST graph-based parser, and also obtaining a state-of-the-art POS tagging accuracy at 97.97%. Furthermore, experimental results on parsing 61 "big" Universal Dependencies treebanks from raw texts show that our model outperforms the baseline UDPipe (Straka and Straková, 2017) with 0.8% higher average POS tagging score and 3.6% higher average LAS score. In addition, with our model, we also obtain state-of-the-art downstream task scores for biomedical event extraction and opinion analysis applications. Our code is available together with all pre-trained models at: https://github.com/datquocnguyen/jPTDP

연구 동기 및 목표

• 부정확한 자동 POS 태깅으로 인한 의존성 파싱의 오류 전파 문제를 해결하기 위해, POS 태그와 의존성 구조를 함께 학습하는 것.
• BiLSTM 기반 태깅 컴포onent을 BIST 그래프 기반 파서 아키텍처에 통합하여 파싱 성능을 향상시키는 것.
• 내재된 파싱 및 POS 태깅 작업에서 최신 기술 수준의 성능을 달성하고, 후속 자연어 처리 응용 분야에서도 뛰어난 성능을 내는 것.
• 61개의 Universal Dependencies 트리뱅크에서 원시 텍스트를 사용하여 언어 간 일반화 능력을 입증하는 것.
• 저자원 및 생물의학 분야의 자연어 처리 환경에서 공동 파싱 및 태깅을 위한 강력하고 재사용 가능한 기준을 설정하는 것.

제안 방법

• 모델은 이원 구조를 사용한다: 단어 및 문자 수준의 임베딩에서 POS 태그를 예측하는 BiLSTM 기반 태깅 컴포넌트.
• 단어 표현은 사전 학습된 GloVe 단어 임베딩과 문자 시퀀스를 통한 BiLSTM를 통해 생성된 문자 수준 표현을 연결하여 형성된다.
• 파싱 컴포넌트는 입력 단어와 예측된 POS 태그를 모두 인코딩하기 위해 별도의 BiLSTM를 사용하며, 궤도 예측을 위한 잠재 표현을 생성한다.
• 의존성 궤도는 잠재 표현에 다층 신경망(MLP)을 적용하여 예측하며, 궤도 레이블링을 위한 다른 MLP도 사용된다.
• POS 태깅에 대한 교차 엔트로피 손실과 의존성 파싱에 대한 구조적 CRF 유사 디코딩을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 공동 훈련 과정을 통해 태깅 컴포넌트는 파싱 감독에서 유의미한 이점을 얻고, 반대로 파싱 성능도 향상되어 양측 모두 개선된다.

실험 결과

연구 질문

• RQ1 독립적인 모델링에 비해 POS 태깅과 의존성 파싱을 공동으로 학습함으로써 두 작업의 성능 향상을 이룰 수 있는가?
• RQ2 그래프 기반 파서에 BiLSTM 기반 태거를 통합하면 파싱 정확도와 POS 태깅 정확도가 향상되는가?
• RQ3 Universal Dependencies 트리뱅크를 활용한 다국어 원시 텍스트 파싱 작업에서 공동 모델의 성능은 어떠한가?
• RQ4 의료 사건 추출 및 의견 분석과 같은 후속 응용 분야에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 더 높은 내재된 파싱 성능이 항상 더 나은 후속 응용 성능을 이끌어내는가?

주요 결과

• 영어 Penn Treebank에서 모델은 94.51% UAS와 92.87% LAS를 달성하여 BIST 파서보다 1.5% 이상의 절대적 성능 향상을 보였다.
• 모델은 97.97%의 POS 태깅 정확도를 기록하여 이 기준에서 최신 기술 수준을 수립했다.
• 61개의 대규모 Universal Dependencies 트리뱅크에서 모델은 UDPipe보다 평균적으로 0.8% 높은 POS 태깅 F1, 3.1% 높은 UAS, 3.6% 높은 LAS를 기록했다.
• CoNLL 2018 공동 과제에서 모델은 생물의학 사건 추출 및 의견 분석을 포함한 세 가지 후속 과제에서 최고의 비공식 F1 점수를 기록했다.
• 상위 랭크된 EPE 2017 시스템보다 훈련 데이터를 적게 사용했음에도 불구하고, 사건 추출 및 의견 분석 과제에서 더 높은 F1 점수를 기록하여 내재된 파싱 품질이 항상 후속 성능을 예측하지는 않는다는 점을 시사했다.
• 모델의 코드와 사전 학습된 가중치는 https://github.com/datquocnguyen/jPTDP 에 공개되어 있다.