[논문 리뷰] Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing

Milan Straka, Jana Straková외 1명|arXiv (Cornell University)|2019. 08. 20.

Natural Language Processing Techniques참고 문헌 14인용 수 38

한 줄 요약

이 연구는 BERT, Flair, ELMo 맥락화 임베딩을 54개 언어(89 UD 2.3 코퍼스)에서 UDPipe 2.0의 입력으로 비교하여 최첨단 결과를 달성하고 임베딩이 전통적인 단어 및 문자 특징을 어떻게 보완하는지 자세히 설명합니다.

ABSTRACT

We present an extensive evaluation of three recently proposed methods for contextualized embeddings on 89 corpora in 54 languages of the Universal Dependencies 2.3 in three tasks: POS tagging, lemmatization, and dependency parsing. Employing the BERT, Flair and ELMo as pretrained embedding inputs in a strong baseline of UDPipe 2.0, one of the best-performing systems of the CoNLL 2018 Shared Task and an overall winner of the EPE 2018, we present a one-to-one comparison of the three contextualized word embedding methods, as well as a comparison with word2vec-like pretrained embeddings and with end-to-end character-level word embeddings. We report state-of-the-art results in all three tasks as compared to results on UD 2.2 in the CoNLL 2018 Shared Task.

연구 동기 및 목표

• 세 가지 맥락화 임베딩 방법(BERT, Flair, ELMo)을 강력한 다국어 구문 분석 시스템에 추가 입력으로서의 효과를 평가한다.
• 54개 언어의 89개 UD 2.3 트리뱅크에 대해 세 임베딩 접근법의 일대일 비교를 수행한다.
• 전통적인 word2vec 유사 임베딩 및 끝에서 끝까지의 문자 수준 단어 임베딩(CLE)과 맥락화 임베딩을 비교한다.
• 다국어 자원 및 언어별 BERT 모델의 성능 차이를 확인하고 다국어 모델이 더 나은지 언어별 모델이 더 나은지 분석한다.
• UD 2.2 대비 최첨단 결과를 보고하고 UD 2.3에서의 성능을 문서화한다.

제안 방법

• POS 태깅, 표제어 추출, 의존 구문 분석에 대해 UDPipe 2.0을 강력한 기준 시스템으로 사용한다.
• 입력 단어를 세 가지 맥락화 표현(BERT, Flair, ELMo)으로 임베딩하고 서브워드/마지막 층 출력을 평균화하여 단어 수준 임베딩을 얻는다.
• WE(단어 임베딩의 FastText) 및 CLE(문자-단어 임베딩)라는 기준선을 비교한다.
• 다국어 및 언어별 BERT 모델을 실험하고 Flair와 ELMo를 가능할 때 사용한다.
• UD 2.3 트리뱅크(89 코퍼스, 54 개 언어)에서 평가하고 다중 트리뱅크가 있을 때 매크로 평균 결과를 보고한다.

실험 결과

연구 질문

• RQ1 BERT, Flair, ELMo 맥락화 임베딩이 많은 언어와 작업(POS 태깅, 표제어 추출, 의존 구문 분석)에 대해 UDPipe 2.0의 입력으로 사용할 때 어떻게 비교되는가?
• RQ2 맥락화 임베딩이 어휘 임베딩 및 문자 수준 특징에 보완 정보를 제공하는지, 그리고 이를 결합하면 성능에 어떤 영향을 미치는가?
• RQ3 다국어 BERT 모델이 언어별 모델만큼 효과적인가, 그리고 언어와 데이터 가용성에 따라 성능은 어떻게 달라지는가?
• RQ4 UD 2.3에서 맥락화 임베딩이 UPOS, XPOS, 형태소 특징, 표제어, UAS, LAS, MLAS, BLEX에 미치는 상대적 영향은 무엇인가?
• RQ5 UD 2.3 작업에서 최첨단 결과를 달성하기 위한 최상의 구성(임베딩 조합)은 무엇인가?

주요 결과

• 맥락화 임베딩을 UDPipe 2.0의 입력으로 추가하면 언어 및 작업 전반에 걸쳐 상당한 성능 향상이 나타난다.
• BERT 임베딩이 가장 큰 향상을 제공하며 UD Shared Task 스타일 평가에서 최첨단 결과를 달성하고 WE 및 CLE에 가장 보완적 정보를 제공한다.
• Flair 임베딩은 형태소 및 철자 정보를 포착하여 POS 태깅과 표제어 추출에서 우수한 성능을 보이지만 의존 구문 분석에서는 BERT에 비해 다소 뒤처진다.
• ELMo 임베딩(영어만 해당)은 영어 트리뱅크에서 특히 형태소에 대해 강한 성능을 보이지만 일반적으로 구문 분석에서 BERT보다 뒤처진다; WE/CLE와의 조합은 특정 지표에서 여전히 이점이 있다.
• WE+CLE+BERT(가능한 경우 Flair 포함)의 조합이 전반적으로 최상의 결과를 낳으며, 상대적 오류 감소가 UPOS에서 최대 16.9%, 구문 분석에서 14.5%로 요약되며, 다른 지표에서의 이익은 작다; 다국어 BERT는 종종 언어별 BERT의 성능과 일치하거나 영어의 경우 특히 더 큰 사전학습 데이터에서 이점을 얻는다.
• UD 2.3에서 BERT+Flair+WE+CLE가 많은 설정에서 가장 강력한 결과를 보여주며, 언어별 뉘앙스가 있다: BERT 학습에 포함되지 않은 일부 언어도 다국어 BERT의 혜택을 받는다.
• 89 개 UD 2.3 트리뱅크 전반에 걸친 평균 효과는 UPOS, UAS, LAS에서 뚜렷한 이익을 보여주지만 표제어의 경우 언어 및 임베딩에 따라 혼합된 결과를 보일 수 있다.