[논문 리뷰] A Closer Look at Few-Shot Crosslingual Transfer: Variance, Benchmarks and Baselines.

Mengjie Zhao, Yi Zhu외 4명|arXiv (Cornell University)|2020. 12. 31.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 사전에 고자원 언어에서 사전학습한 다국어 모델을 저자원 언어의 소량의 레이블된 예제로 파인튜닝하는 소량 샘플 전이(few-shot crosslingual transfer)를 조사한다. 성능에 큰 변동성이 있음을 확인하고, 다중 샘플 평가의 필요성을 주장하며, 대규모 모델이 어휘적 단서에 의존하여 빠르게 과적합됨을 발견했고, 고급 방법이 표준 파인튜닝보다 유의미한 성능 향상을 이끌어내지 못함을 확인했다.

ABSTRACT

We present a focused study of few-shot crosslingual transfer, a recently proposed NLP scenario: a pretrained multilingual encoder is first finetuned on many annotations in a high resource language (typically English), and then finetuned on a few annotations (the ``few shots'') in a target language. Few-shot transfer brings large improvements over zero-shot transfer. However, we show that it inherently has large variance and it is necessary to report results on multiple sets of few shots for stable results and to guarantee fair comparison of different algorithms. To address this problem, we publish our few-shot sets. In a study of why few-shot learning outperforms zero-shot transfer, we show that large models heavily rely on lexical hints when finetuned on a few shots and then overfit quickly. We evaluate different methods that use few-shot annotations, but do not observe significant improvements over the baseline. This calls for better ways of utilizing the few-shot annotations.

연구 동기 및 목표

• 소량 샘플 전이의 안정성과 신뢰성에 대해 조사한다.
• 다양한 소량 샘플 데이터 분할 간 소량 샘플 전이 성능의 변동 원인을 규명한다.
• 고급 방법이 소량 샘플 설정에서 표준 파인튜닝보다 성능을 향상시키는지 평가한다.
• 공정하고 재현 가능한 벤치마킹을 위한 공개 가능한 소량 샘플 주석 세트를 제공한다.
• 소량 샘플 전이가 제로샷 전이를 초월하는 이유를 이해하고, 이러한 향상이 안정적인지 확인한다.

제안 방법

• 다국어 인코더를 고자원 언어 데이터로 사전학습한 후, 목표 언어에서 소량의 레이블된 예제로 추가 파인튜닝하여 소량 샘플 전이를 평가한다.
• 성능 변동성을 다양한 데이터 분할 간 비교하기 위해 여러 개의 무작위 소량 샘플 세트를 생성하고 평가한다.
• 주의 텐서와 특징 표현을 분석하여 어휘적 단서에 대한 의존도를 탐지하기 위해 모델 행동을 분석한다.
• 소량 샘플 주석을 더 효과적으로 활용하기 위해 고안된 다양한 고급 방법과 표준 파인튜닝을 비교한다.
• 소량 샘플 주석 세트를 공개하여 재현 가능한 벤치마킹을 지원한다.
• 일반화 성능을 확보하기 위해 다수의 목표 언어와 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 소량 샘플 데이터 분할 간 소량 샘플 전이 성능에 얼마나 큰 변동성이 존재하는가?
• RQ2 왜 소량 샘플 전이가 제로샷 전이를 초월하는가? 이 향상은 안정적인가?
• RQ3 대규모 모델이 소량 샘플 예제로 파인튜닝할 때 어휘적 단서에 얼마나 강하게 의존하는가?
• RQ4 소량 샘플 학습을 위한 고급 방법이 표준 파인튜닝보다 성능 향상에 뚜렷한 기여를 하는가?
• RQ5 다중 샘플 평가 없이도 소량 샘플 방법 간 안정적이고 공정한 비교를 달성할 수 있는가?

주요 결과

• 소량 샘플 전이 성능은 다양한 소량 샘플 데이터 분할 간에 높은 변동성을 보이며, 신뢰할 수 있는 비교를 위해서는 다수의 평가가 필요하다.
• 대규모 모델은 소량 샘플 파인튜닝 과정에서 어휘적 힌트에 강하게 의존하여 소규모 데이터셋에서 빠르게 과적합된다.
• 다양한 제안된 방법에도 불구하고, 소량 샘플 설정에서 표준 파인튜닝에 비해 유의미한 성능 향상은 관찰되지 않는다.
• 소량 샘플 전이가 제로샷 전이를 초월하는 성능 향상은 모든 데이터 분할에서 일관되지 않으며, 이는 불안정성을 시사한다.
• 연구는 공정한 벤치마킹을 위해서는 단일 분할이 아닌 여러 소량 샘플 세트에 대한 결과를 보고해야 한다는 점을 확인한다.
• 저자들은 소량 샘플 주석 세트를 공개하여 향후 연구에서 재현 가능하고 안정적인 평가를 지원한다.