[논문 리뷰] Model Selection for Cross-Lingual Transfer using a Learned Scoring Function

Yang Chen, Alan Ritter|arXiv (Cornell University)|2021. 05. 04.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 타겟 언어 검증 데이터에 의존하지 않고, 미세조정된 다국어 모델의 내부 표현을 활용하여 보다 우수한 다국어 간 전이 모델을 선택하는 학습된 스코링 함수를 제안한다. 피벗 언어에서 소량의 주석 데이터를 활용함으로써, 다섯 개의 언어와 다섯 개의 NLP 작업에서 영어 검증 데이터 기반 선택보다 우수한 성능을 기록하며, 소량의 타겟 언어 개발 세트를 사용한 경우와 유사한 성능을 달성한다.

ABSTRACT

Transformers that are pre-trained on multilingual text corpora, such as, mBERT and XLM-RoBERTa, have achieved impressive cross-lingual transfer learning results. In the zero-shot cross-lingual transfer setting, only English training data is assumed, and the fine-tuned model is evaluated on another target language. No target-language validation data is assumed in this setting, however substantial variance has been observed in target language performance between different fine-tuning runs. Prior work has relied on English validation/development data to select among models that are fine-tuned with different learning rates, number of steps and other hyperparameters, often resulting in suboptimal choices. In this paper, we show that it is possible to select consistently better models when small amounts of annotated data are available in an auxiliary pivot language. We propose a machine learning approach to model selection that uses the fine-tuned model's own internal representations to predict its cross-lingual capabilities. In extensive experiments we find that our approach consistently selects better models than English validation data across five languages and five well-studied NLP tasks, achieving results that are comparable to small amounts of target language development data.

연구 동기 및 목표

• 타겟 언어 데이터가 없을 경우, 다양한 미세조정 런에 따른 제로샷 다국어 간 전이 성능의 높은 변동성을 해결하기 위해.
• 일반적으로 최적의 모델 선택을 이끌지 못하는 영어 검증 데이터에 의존하는 하이퍼파라미터 선택을 줄이기 위해.
• 보조 피벗 언어에서 소량의 주석 데이터를 활용하여 제로샷 다국어 간 전이에서 모델 선택의 일관성과 성능을 향상시키기 위해.
• 내부 표현을 기반으로 모델의 다국어 간 능력을 예측하는 기계학습 기반 방법을 개발하기 위해.

제안 방법

• 학습된 스코링 함수는 미세조정된 모델의 내부 표현을 예측된 다국어 간 성능 스코어로 매핑한다.
• 스코링 함수는 피벗 언어에서의 소량의 주석 예시를 기반으로 훈련되며, 입력으로 최종 레이어의 모델 표현을 사용한다.
• 모델의 표현은 피벗 언어 데이터에 대한 추론 중에 미세조정된 다국어 인코더(예: mBERT 또는 XLM-RoBERTa)에서 추출된다.
• 학습된 스코링 함수는 타겟 언어에서의 다운스트림 작업 성능을 예측하기 위해 회귀 목적으로 최적화된다.
• 스코링 함수는 타겟 언어 검증 데이터가 필요 없이 예측 스코어 기반으로 가장 우수한 성능을 보이는 모델을 선택한다.
• 이 방법은 여러 언어와 NLP 작업에서 평가되며, 영어 검증 기반 및 소량의 타겟 언어 개발 세트와의 선택 성능를 비교한다.

실험 결과

연구 질문

• RQ1 내부 모델 표현을 기반으로 한 학습된 스코링 함수가 제로샷 다국어 간 전이에서 모델 선택을 향상시킬 수 있는가?
• RQ2 소량의 피벗 언어 데이터를 사용하면 영어 검증 데이터에 의존하는 것보다 더 나은 모델 선택이 가능한가?
• RQ3 제안된 방법을 사용한 모델 선택 성능가 소량의 타겟 언어 개발 세트를 사용한 경우와 비교해 어떻게 되는가?
• RQ4 이 방법은 다양한 언어와 NLP 작업에 얼마나 잘 일반화되는가?
• RQ5 내부 표현만으로도 모델의 다국어 간 전이 능력을 신뢰성 있게 예측할 수 있는가?

주요 결과

• 제안된 방법은 다섯 개의 타겟 언어와 다섯 개의 NLP 작업에서 영어 검증 기반 선택보다 항상 더 우수한 모델을 선택한다.
• 소량의 타겟 언어 개발 데이터를 사용한 경우와 유사한 성능을 달성하며, 선택의 신뢰도를 크게 향상시킨다.
• 최소한의 주석 데이터를 가진 피벗 언어를 사용함으로써, 타겟 언어 검증 데이터가 없을 경우에도 효과적인 모델 선택이 가능하다.
• 학습된 스코링 함수는 텍스트 분류, 시퀀스 레이블링, 자연어 추론 등 다양한 NLP 작업에 잘 일반화된다.
• 이 방법은 모델 선택 결과의 변동성을 줄여 제로샷 다국어 간 전이에서 더 일관되고 신뢰할 수 있는 성능을 이끈다.