[논문 리뷰] UDPipe at EvaLatin 2020: Contextualized Embeddings and Treebank Embeddings

Milan Straka, Jana Straková|arXiv (Cornell University)|2020. 06. 05.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 라틴어 NLP 작업을 위한 문맥 기반 임베딩과 트리뱅크 특화 표현을 통합한 UDPipe 2.0을 제시한다. EvaLatin 2020 공동 과제에서 단어 원형 복원과 품사 태깅에서 최고 성능을 기록했으며, 개방형 모odal에서 1위, 폐쇄형 모odal의 모든 하위 과제에서 1위 또는 2위를 기록했다. 아블레이션 연구를 통해 BERT와 XLM-RoBERTa 임베딩 및 세밀한 트리뱅크 인코딩의 유용성이 확인되었다.

ABSTRACT

We present our contribution to the EvaLatin shared task, which is the first evaluation campaign devoted to the evaluation of NLP tools for Latin. We submitted a system based on UDPipe 2.0, one of the winners of the CoNLL 2018 Shared Task, The 2018 Shared Task on Extrinsic Parser Evaluation and SIGMORPHON 2019 Shared Task. Our system places first by a wide margin both in lemmatization and POS tagging in the open modality, where additional supervised data is allowed, in which case we utilize all Universal Dependency Latin treebanks. In the closed modality, where only the EvaLatin training data is allowed, our system achieves the best performance in lemmatization and in classical subtask of POS tagging, while reaching second place in cross-genre and cross-time settings. In the ablation experiments, we also evaluate the influence of BERT and XLM-RoBERTa contextualized embeddings, and the treebank encodings of the different flavors of Latin treebanks.

연구 동기 및 목표

• 낮은 자원을 가진 역사적 언어인 라틴어를 위한 정확도가 높은 단어 원형 복원과 품사 태깅을 구현하는 강력한 NLP 시스템을 개발한다.
• 문맥 기반 임베딩(BERT, XLM-RoBERTa)과 트리뱅크 특화 표현의 효과가 라틴어 NLP 성능 향상에 기여하는지 평가한다.
• 다양한 설정(개방형 및 폐쇄형 모달, 고전적, 다장르, 다시기 작업)에서 라틴어 텍스트를 평가하는 EvaLatin 2020 공동 과제에 참가한다.
• 유니버설 디펜던시 라틴 트리뱅크를 포함한 추가 학습 데이터가 시스템 성능에 미치는 영향을 분석한다.

제안 방법

• 시스템은 UDPipe 2.0의 통합 아키텍처를 사용하여 공유 양방향 LSTM 레이어를 통해 동시에 단어 원형과 품사 태그를 예측한다.
• 입력 단어 표현은 엔드 투 엔드 임베딩, 문자 수준의 양방향 GRU(256차원), FastText 임베딩(300차원), 사전 학습된 문맥 기반 임베딩(BERT 또는 XLM-RoBERTa, 768차원)을 조합한다.
• 단어 원형 복원은 표면 형태를 수정하여 단어 원형을 생성하는 편집 스크립트를 예측하는 분류기 방식으로 수행되며, 문자 수준의 임베딩을 입력으로 사용한다.
• 트리뱅크 임베딩은 다양한 정밀도 수준에서 통합되어 라틴어 방언과 저자 간의 차이를 모델링한다.
• 폐쇄형 모달에서는 EvaLatin 학습 데이터로 모델을 피지컬 튜닝하고, 개방형 모달에서는 모든 UD 2.5 라틴 트리뱅크로 추가로 학습한다.
• 아블레이션 연구를 통해 BERT, XLM-RoBERTa, 트리뱅크 임베딩이 성능 향상에 기여하는 정도를 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 BERT와 XLM-RoBERTa와 같은 문맥 기반 임베딩이 저자원 라틴어 NLP에서 단어 원형 복원과 품사 태깅 성능을 어떻게 향상시키는가?
• RQ2 다양한 방언적 및 시기적 특성을 지닌 여러 라틴 트리뱅크를 통합할 경우 성능에 어떤 영향을 미치는가?
• RQ3 트리뱅크 특화 임베딩은 라틴어의 장르나 시기 특화 언어 패턴을 얼마나 효과적으로 포착하는가?
• RQ4 추가적인 지도 학습 데이터(개방형 모달)를 사용할 경우, EvaLatin 데이터만으로 학습하는 것(폐쇄형 모달)보다 성능이 유의미하게 향상되는가?
• RQ5 성능 향상에 가장 기여하는 요소는 무엇인가? 문맥 기반 임베딩, 트리뱅크 인코딩, 또는 데이터 융합인가?

주요 결과

• 개방형 모달에서 시스템은 단어 원형 복원과 품사 태깅 모두에서 가장 높은 성능을 기록했으며, 다른 모든 제출물보다 크게 앞서 있었다.
• 폐쇄형 모달에서 시스템은 단어 원형 복원에서 1위, 고전적 품사 태깅 하위 과제에서 1위, 다장르 및 재기 설정에서 2위를 기록했다.
• 아블레이션 연구 결과, XLM-RoBERTa와 BERT 임베딩이 성능 향상에 유의미하게 기여했으며, XLM-RoBERTa가 BERT보다 더 강한 성능 향상을 이끌었다.
• 세밀한 정밀도 수준(예: 저자 또는 장르 기반)의 트리뱅크 임베딩은 특히 다장르 및 재기 설정에서 성능 향상에 기여했다.
• 개방형 모달에서 모든 UD 2.5 라틴 트리뱅크를 통합함으로써 성능이 크게 향상되었으며, 다국어 및 다방언 사전 학습 데이터의 가치를 입증했다.
• 편집 스크립트 기반의 단어 원형 복원을 통합한 통합 모델 아키텍처는 특히 문맥 기반 및 문자 수준 표현과 결합되었을 때 효과적이었다.