[논문 리뷰] Evaluation of contextual embeddings on less-resourced languages

Matej Ulčar, Aleš Žagar외 5명|arXiv (Cornell University)|2021. 07. 22.

Topic Modeling참고 문헌 47인용 수 6

한 줄 요약

이 논문은 9개의 낮은 자원을 가진 유럽어에서 14개의 작업을 통해 ELMo와 BERT의 컨텍스트 임베딩에 대한 체계적인 다국어 평가를 처음으로 제시한다. 단일 언어 BERT 모델이 일반적으로 ELMo와 다국어 BERT를 능가하며, 삼중 언어 BERT 모델은 특히 영어에서 유사 언어로의 교차 언어 전이에서 뛰어난 성능을 보이며, ELMo는 의존성 parsing과 용어 정렬 작업에서 여전히 경쟁력 있는 성능을 보인다.

ABSTRACT

The current dominance of deep neural networks in natural language processing is based on contextual embeddings such as ELMo, BERT, and BERT derivatives. Most existing work focuses on English; in contrast, we present here the first multilingual empirical comparison of two ELMo and several monolingual and multilingual BERT models using 14 tasks in nine languages. In monolingual settings, our analysis shows that monolingual BERT models generally dominate, with a few exceptions such as the dependency parsing task, where they are not competitive with ELMo models trained on large corpora. In cross-lingual settings, BERT models trained on only a few languages mostly do best, closely followed by massively multilingual BERT models.

연구 동기 및 목표

• 대규모 사전 훈련이 제한된 낮은 자원을 가진 유럽어에서 컨텍스트 임베딩—ELMo와 BERT—의 성능을 평가하기 위해.
• 단일 언어 대비 다국어 BERT와 ELMo 모델의 성능이 단일 언어 및 교차 언어 설정 모두에서 얼마나 효과적인지 조사하기 위해.
• 특히 낮은 자원 언어 쌍에 중점을 두고 영어에서 낮은 자원 언어로의 교차 언어 전이 성능을 평가하기 위해.
• 낮은 자원 환경에서 컨텍스트 임베딩 평가를 위한 14개 작업과 9개 언어를 포함하는 벤치마크 세트를 수립하기 위해.
• 특히 낮은 자원 언어에서 사전 훈련 데이터 크기와 모델 아키텍처가 최종 작업 성능에 미치는 영향을 비교하기 위해.

제안 방법

• 다국어 모델 1개와 단일 언어 모델 1개를 포함한 두 종류의 ELMo 모델과, 단일 언어, 다량 다국어(mBERT), 삼중 언어 BERT를 포함한 세 종류의 BERT 변종을 평가함.
• NER, POS 태깅, 의존성 parsing, 유사어 관계, 문맥 기반 유사도, 용어 정렬, SuperGLUE 벤치마크를 포함한 일곱 가지 NLP 분야에서 다양하게 구성된 14개의 작업을 활용함.
• 영어를 소스로 하여 타겟 언어에서의 모델 훈련을 통해 교차 언어 전이를 적용하였으며, 제로샷 및 소수 샘플 전이 설정을 사용함.
• 의미적 및 용어 정렬 작업에는 코사인 유사도를, 시퀀스 레이블링 및 추론 작업에는 표준 분류 지표를 사용함.
• 영어 → 다른 언어 및 비영어 → 다른 언어 전이를 포함한 언어 쌍 간 성능을 비교하였으며, 결과는 정확도@1 및 F1 점수로 보고함.
• 데이터 크기의 영향을 분석하기 위해 분석 실험을 수행하였으며, 일부 경우에서는 11억 토큰조차도 강력한 성능을 내기에는 부족함을 확인하여 데이터 부족이 핵심 장애물임을 강조함.

실험 결과

연구 질문

• RQ1 다양한 낮은 자원을 가진 유럽어에서 단일 언어 BERT 모델이 ELMo와 다국어 BERT보다 어떻게 성능을 냈는가?
• RQ2 교차 언어 전이에서, 영어에서 낮은 자원 언어로 지식을 전이할 때, 삼중 언어 BERT, mBERT, 또는 교차 언어 매핑을 적용한 ELMo 중 어떤 모델 아키텍처가 가장 높은 성능을 보이는가?
• RQ3 BERT 기반 모델의 성능은 특히 낮은 자원 환경에서 사전 훈련 코퍼스의 크기에 의해 크게 영향을 받는가?
• RQ4 BERT의 대부분의 벤치마크에서의 우월성에도 불구하고, ELMo가 여전히 BERT를 능가하는 NLP 작업은 무엇인가?
• RQ5 교차 언어 전이 모델의 성능은 단일 언어 모델과 얼마나 가까운가? 이 격차는 언어나 작업에 따라 달라지는가?

주요 결과

• 단일 언어 BERT 모델은 대부분의 작업에서 ELMo와 다국어 BERT를 일관되게 능가하며, 삼중 언어 BERT 모델은 몇몇 경우에서 가장 높은 성능을 기록함.
• 의존성 parsing 작업에서는 L-ELMo 모델이 모든 BERT 변종보다 뛰어나며, 이는 BERT의 일반적 슈퍼리어리티에도 불구하고 ELMo가 문법적 모델링에서 강점을 지닌다는 것을 시사함.
• 삼중 언어 BERT 모델은 다국어 BERT와 ELMo보다 교차 언어 용어 정렬에서 뛰어난 성능을 보이며, 영어 → 슬로베니아어 전이에서 최대 28.4%의 정확도@1을 기록함.
• 영어 → 슬라브어 및 페르미아그리크어 언어 쌍에서 삼중 언어 BERT 모델은 21.5%에서 28.4%의 정확도@1을 기록하여, mBERT(예: 영어 → 슬로베니아어에서 10.3%)를 크게 능가함.
• ELMo 모델은 용어 정렬 작업에서 경쟁력 있는 성능(예: 영어 → 스웨덴어에서 18.7%)을 기록하며 대부분의 경우 mBERT를 능가하지만, 대부분의 언어 쌍에서 삼중 언어 BERT에 밀림.
• 많은 작업에서 교차 언어 전이 성능 저하가 미미함(몇 점수 포인트 이내), 이는 제한된 데이터로도 전이 학습이 가능함을 시사하지만, 데이터 크기가 여전히 핵심 요소임—예를 들어, 5억 토큰은 LVBERT에서 강력한 성능을 내기에 부족함.