[논문 리뷰] On the Evaluation of Contextual Embeddings for Zero-Shot Cross-Lingual Transfer Learning.

Phillip Keung, Yichao Lu외 2명|arXiv (Cornell University)|2020. 04. 30.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 다국어 BERT(mBERT)를 사용한 zero-shot cross-lingual transfer 학습에서, 영어 개발 데이터 정확도를 기반으로 모델을 선택할 경우 목표 언어 성능이 불안정하고 신뢰할 수 없게 되는 문제를 규명한다. 저자들은 미세조정 중에 목표 언어 개발 세트에서 가장 좋은 체크포인트를 선택하는 오라클 점수를 제안하여, MLDoc 및 XNLI 벤치마크에서 더 재현 가능하고 일관된 zero-shot 결과를 달성한다.

ABSTRACT

Pre-trained multilingual contextual embeddings have demonstrated state-of-the-art performance in zero-shot cross-lingual transfer learning, where multilingual BERT is fine-tuned on some source language (typically English) and evaluated on a different target language. However, published results for baseline mBERT zero-shot accuracy vary as much as 17 points on the MLDoc classification task across four papers. We show that the standard practice of using English dev accuracy for model selection in the zero-shot setting makes it difficult to obtain reproducible results on the MLDoc and XNLI tasks. English dev accuracy is often uncorrelated (or even anti-correlated) with target language accuracy, and zero-shot cross-lingual performance varies greatly within the same fine-tuning run and between different fine-tuning runs. We recommend providing oracle scores alongside the zero-shot results: still fine-tune using English, but choose a checkpoint with the target dev set. Reporting this upper bound makes results more consistent by avoiding the variation from bad checkpoints.

연구 동기 및 목표

• mBERT 미세조정에서 영어 개발 정확도를 기반으로 모델을 선택할 경우 발생하는 zero-shot cross-lingual transfer 성능의 불안정성을 조사하는 것.
• 특히 MLDoc 및 XNLI에서 보고된 mBERT zero-shot 정확도가 여러 연구 간에 크게 다름에도 불구하고 그 이유를 규명하는 것.
• 체크포인트 선택에 목표 언어 개발 세트를 활용함으로써 더 신뢰할 수 있는 평가 전략을 제안하여 재현 가능성을 향상시키는 것.
• 영어 개발 정확도가 목표 언어 성능과 자주 상관관계가 없거나 심지어 반대 상관관계를 보이며, 표준 평가 방식의 타당성을 떨어뜨리는 이유를 분석하는 것.

제안 방법

• 표준 절차에 따라 소스 언어(예: 영어)에서 mBERT를 미세조정하지만, 영어 개발 세트와 목표 언어 개발 세트 양쪽에서 성능을 모니터링한다.
• 영어 개발 정확도가 아니라 목표 언어 개발 세트에서의 성능에 기반해 최고의 모델 체크포인트를 선택함으로써 '오라클' 점수를 생성한다.
• MLDoc 및 XNLI 벤치마크에서 표준 zero-shot 결과(영어 개발 정확도 기반 선택)와 오라클 결과(목표 언어 개발 정확도 기반 선택)를 비교한다.
• 여러 개의 미세조정 실행 및 하이퍼파라미터 설정에서 영어 개발 정확도와 목표 언어 정확도 간의 상관관계를 분석한다.
• 재현 가능하고 공정한 비교를 가능하게 하기 위해 표준 zero-shot 결과와 오라클 상한선 결과를 모두 보고한다.

실험 결과

연구 질문

• RQ1 왜 MLDoc 벤치마크에서 발표된 mBERT zero-shot 정확도가 여러 연구 간에 크게 다름?
• RQ2 영어 개발 정확도는 cross-lingual transfer에서 목표 언어의 zero-shot 성능을 얼마나 잘 예측할 수 있는가?
• RQ3 목표 언어 개발 정확도 기반의 모델 선택이 영어 개발 정확도 기반 선택에 비해 zero-shot 성능 일관성 측면에서 어떻게 다른가?
• RQ4 목표 개발 세트에서 가장 좋은 체크포인트를 선택하는 오라클 점수를 사용하면 zero-shot cross-lingual 결과의 신뢰성과 재현 가능성은 얼마나 향상되는가?
• RQ5 표준 모델 선택 방식에 비해 오라클 점수를 사용했을 때 zero-shot cross-lingual transfer에서 성능 향상의 규모는 어느 정도인가?

주요 결과

• 영어 개발 정확도는 목표 언어 zero-shot 성능과 자주 상관관계가 없거나 심지어 반대 상관관계를 보이며, 모델 선택의 우수한 지표로 쓰이기 어렵다.
• 동일한 미세조정 실행 내외에서 zero-shot cross-lingual 성능이 크게 변동함으로써, 모델 선택 과정에 내재된 불안정성이 드러난다.
• 목표 언어 개발 세트에서 가장 좋은 체크포인트를 선택하는 오라클 점수를 사용할 경우, 실험 전반에서 더 일관되고 신뢰할 수 있는 zero-shot 결과를 얻을 수 있다.
• 제안된 오라클 점수는 zero-shot 성능의 상한선 역할을 하며, 재학습 없이도 재현 가능성을 향상시킨다.
• 표준적인 영어 개발 정확도 기반 모델 선택 방식은 상당한 변동성을 유발하며, MLDoc에서 보고된 mBERT zero-shot 정확도는 연구 간 최대 17점의 격차를 보였다.