[논문 리뷰] High Quality ELMo Embeddings for Seven Less-Resourced Languages

Matej Ulčar, Marko Robnik‐Šikonja|arXiv (Cornell University)|2019. 11. 22.

Topic Modeling참고 문헌 14인용 수 13

한 줄 요약

이 논문은 이전 공개 모델보다 더 큰 단어 단위 코퍼스를 사용해 훈련된, 7개의 자원이 적은 문법적으로 복잡한 유럽어 언어—크로아티아어, 에스토니아어, 핀란드어, 라트비아어, 리투아니아어, 슬로베니아어, 스웨덴어—에 대한 고품질 사전 계산된 ELMo 문맥 임베딩을 제시한다. 저자들은 더 큰 훈련 데이터가 임베딩 품질을 크게 향상시킨다는 것을 입증하였으며, 어휘 유사성 및 명명된 실체 인식(NER) 작업에서 비문맥적 fastText 임베딩과 기존의 ELMoForManyLangs(EFML) 모델보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Recent results show that deep neural networks using contextual embeddings significantly outperform non-contextual embeddings on a majority of text classification task. We offer precomputed embeddings from popular contextual ELMo model for seven languages: Croatian, Estonian, Finnish, Latvian, Lithuanian, Slovenian, and Swedish. We demonstrate that the quality of embeddings strongly depends on the size of training set and show that existing publicly available ELMo embeddings for listed languages shall be improved. We train new ELMo embeddings on much larger training sets and show their advantage over baseline non-contextual FastText embeddings. In evaluation, we use two benchmarks, the analogy task and the NER task.

연구 동기 및 목표

• 제한된 NLP 자원을 가진 7개의 자원이 적은 문법적으로 복잡한 유럽어 언어에 대해 문맥 기반 단어 임베딩을 향상시키기 위해.
• 기존 공개 ELMo 임베딩의 한계를 해결하기 위해, 더 작은 코퍼스에서 훈련되어 최적의 성능을 내지 못하는 문제를 해결하기 위해.
• 표준화된 벤치마크를 사용하여 훈련 데이터 크기의 영향을 임베딩 품질에 대해 평가하기 위해.
• 하위 작업 NLP 작업을 지원하기 위해 공개적으로 이용 가능한 고품질 ELMo 임베딩을 제공하기 위해.
• 어휘 유사성 및 NER 작업에서 비문맥적 fastText 및 기존의 ELMoForManyLangs(EFML) 모델과 새로운 임베딩의 성능을 비교하기 위해.

제안 방법

• 문맥 표현을 계층 출력의 가중 평균으로 유도하는 3층 아키텍처를 사용한 ELMo 모델 훈련: 문자 수준의 CNN과 이어진 양방향 LSTMs(biLMs).
• 각 목표 언어에 대해 더 큰 단어 단위 텍스트 코퍼스를 사용하여 자원이 적은 환경에서의 데이터 부족 문제를 해결하고 임베딩 품질을 향상시켰다.
• 일관성과 강건성을 확보하기 위해 토큰화, 문장 분할, 서브워드 정규화를 통해 원시 텍스트를 전처리하였다.
• 효율성을 위해 고빈도 토큰에 초점을 맞춘 어휘 구축을 통해 전체 코퍼스에 대해 훈련된 모델을 사용해 ELMo 임베딩을 생성하였다.
• 표준 벤치마크 두 가지를 사용해 임베딩을 평가하였다: 어휘 유사성 및 명명된 실체 인식(NER), 매크로 F1 점수를 보고하였다.
• 동일한 하위 작업 신경망 아키텍처와 모델당 5개의 랜덤 시드를 사용해 통계적 신뢰성을 확보하면서 비문맥적 fastText 임베딩 및 ELMoForManyLangs(EFML) 모델과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 훈련 코퍼스의 크기를 늘리면 자원이 적은 언어의 ELMo 임베딩 품질에 뚜렷한 향상이 이루어지는가?
• RQ2 새로운 ELMo 임베딩은 NER 및 어휘 유사성과 같은 하위 작업 NLP 작업에서 비문맥적 fastText 임베딩보다 어떻게 비교되는가?
• RQ3 다양한 언어와 작업에서 기존의 ELMoForManyLangs(EFML) 모델과 비교해 새로운 ELMo 임베딩은 어떤 성능을 보이는가?
• RQ4 NER 작업에서 성능 향상과 데이터셋 크기 또는 레이블 밀도 사이에 측정 가능한 상관관계가 존재하는가?
• RQ5 문법적으로 복잡하고 자원이 적은 언어에서, 문맥 기반 임베딩은 비문맥 기반 임베딩에 비해 다의어 문제를 얼마나 효과적으로 완화하는가?

주요 결과

• 새로운 EMBEDDIA ELMo 임베딩은 모든 7개 언어에서 어휘 유사성 및 NER 작업에서 비문맥적 fastText 임베딩을 뚜렷이 능가한다.
• NER 작업에서 EMBEDDIA ELMo 모델은 크로아티아어(매크로 F1: 0.82), 에스토니아어(0.91), 핀란드어(0.92), 라트비아어(0.83), 리투아니아어(0.74), 슬로베니아어(0.85), 스웨덴어(0.88)를 기록하여 fastText 및 EFML 기준 모델을 모두 초월하였다.
• 어휘 유사성 작업에서 EMBEDDIA ELMo 임베딩는 EFML 임베딩보다 뚜렷한 향상을 보였으며, 특히 크로아티아어와 핀란드어에서 더 나은 의미적 표현을 구현한 것으로 나타났다.
• fastText에 비해 EMBEDDIA ELMo의 성능 향상은 기초 성능이 낮은 언어에서 가장 두드러졌다. 예를 들어 리투아니아어의 경우 fastText의 F1 점수는 0.44였고 EMBEDDIA는 0.74였다.
• NER 작업에서 데이터셋 크기 또는 레이블 밀도와 성능 향상 사이에 유의미한 상관관계는 발견되지 않았다. 이는 데이터 크기가 중요하지만 유일한 결정 요소는 아님을 시사한다.
• EFML이 이전에 이러한 언어들에 대해 최고 성능을 기록한 상태였음에도 불구하고, EMBEDDIA ELMo 모델은 크로아티아어, 핀란드어, 스웨덴어 등 여러 언어에서 NER 작업에서 EFML를 능가하는 성능을 보였다.