[논문 리뷰] Towards Better UD Parsing: Deep Contextualized Word Embeddings, Ensemble, and Treebank Concatenation

Wanxiang Che, Yijia Liu외 3명|arXiv (Cornell University)|2018. 07. 09.

Natural Language Processing Techniques참고 문헌 19인용 수 105

한 줄 요약

HIT-SCIR 시스템은 ELMo 맥락화 임베딩을 도입하고, 앙상블 파서를 활용하며, 트리뱅크를 연결함으로써 다국어 UD 파싱을 향상시키고 CoNLL-2018 테스트 세트에서 LAS를 최상으로 달성합니다.

ABSTRACT

This paper describes our system (HIT-SCIR) submitted to the CoNLL 2018 shared task on Multilingual Parsing from Raw Text to Universal Dependencies. We base our submission on Stanford's winning system for the CoNLL 2017 shared task and make two effective extensions: 1) incorporating deep contextualized word embeddings into both the part of speech tagger and parser; 2) ensembling parsers trained with different initialization. We also explore different ways of concatenating treebanks for further improvements. Experimental results on the development data show the effectiveness of our methods. In the final evaluation, our system was ranked first according to LAS (75.84%) and outperformed the other systems by a large margin.

연구 동기 및 목표

• UD 파싱에서 심층 맥락적 단어 임베딩(ELMo)이 POS 태깅 및 의존 구문 분석에 어떤 영향을 미치는지 조사한다.
• 다른 초기화로 구성된 앙상블 파싱의 이점을 탐구한다.
• 크로스 도메인 및 크로스-언어 간 트리뱅크 연결이 파싱 성능에 미치는 영향을 고찰한다.
• UD 파싱을 위한 전처리 개선(문장 분리/토큰 분리)을 평가한다.
• 교차-언어 임베딩 전이 및 관련 기법을 통해 저자원 언어를 다루는 방법을 모색한다.

제안 방법

• POS 태거와 의존 파서 모두에 ELMo 기반 맥락화 단어 임베딩을 통합한다.
• 다른 초기화를 가진 여러 파서를 학습시키고 softmax 점수를 평균화하여 출력값을 앙상블한다.
• 동일 계통의 언어나 관련 도메인에서 선택된 트리뱅크를 연결해 파싱을 향상시키고, 검증 기반으로 결정한다.
• 저자원 언어를 다루기 위해 임베딩을 공유 공간으로 변환하는 교차-언어 단어 임베딩 전이를 사용한다.
• 중국어/일본어/베트남어에 대해 고급 문장 분리(Uppsala segmentor) 및 언어별 토크나이저(SCIR)를 사용하여 전처리를 강화한다.

실험 결과

연구 질문

• RQ1 UD 파싱에서 ELMo 임베딩을 도입하는 것이 POS 태깅 정확도와 LAS에 어떤 영향을 미치는가?
• RQ2 파서 앙상블이 언어와 트리뱅크 전반에 걸쳐 일관된 향상을 제공하는가?
• RQ3 크로스 도메인 또는 크로스-언어 트리뱅크 연결이 UD 파싱 성능에 어떤 영향을 미치며, 어떤 조건에서 이점이 있는가?
• RQ4 전처리 개선(문장 분리, 토큰화)이 파싱 성능에 가장 큰 영향을 미치는가?
• RQ5 교차-언어 임베딩 전이가 저자원 언어의 파싱에 어떤 도움을 주며 한계는 무엇인가?

주요 결과

• 태거에서의 ELMo는 매크로 평균 UPOS를 0.56% 향상시키고 LAS를 0.84% 향상시켰다.
• 파서에서의 ELMo는 매크로 평균 LAS를 0.84% 향상시키고 오차 감소를 7.88%로 가져왔다.
• 파서 앙상블은 평균 LAS 이득을 0.55% 제공하고 일반화가 더 잘 되어 작은 트리뱅크에서 더 큰 이득을 보인다.
• 크로스-도메인 트리뱅크 연결은 작은 트리뱅크 언어에 이익을 주는 반면, 큰 트리뱅크는 연결에서 거의 또는 부정적 영향을 볼 수 있다.
• 크로스-언어 트리뱅크 연결은 이익이 제한적이며, 개선은 UK-English에서만 보이고 고급 전이 방법이 여전히 필요함을 시사한다.
• 전처리 개선, 특히 토큰화와 문장 분리)가 파싱 성능을 크게 향상시키며, 일부 트리뱅크에서 큰 이익이 나타난다(예: 여러 언어에서 상당한 LAS 개선).
• 최종 제출은 평균 LAS 75.84를 달성했고 공식 CoNLL-2018 테스트 세트에서 LAS로 1위를 차지했다(앙상블 포함).