[논문 리뷰] CLUES: Few-Shot Learning Evaluation in Natural Language Understanding

Subhabrata Mukherjee, Xiaodong Liu외 7명|arXiv (Cornell University)|2021. 11. 04.

Natural Language Processing Techniques인용 수 6

한 줄 요약

CLUES는 소수의 샘플을 사용하는 자연어 이해(NLU) 성능 평가를 위한 표준화된 벤치마크를 도입하며, 다양한 작업(예: NER, MRC, 분류)을 '스팬 집합' 추출 문제로 재정의하여 평가의 통일성을 확보한다. 이는 소수의 샘플 설정에서 인간과 모든 NLU 모델 간에 뚜렷한 성능 격차가 있음을 드러내며, 특히 복잡한 작업에서 그러한 격차가 두드러져 NLU 모델의 소수 샘플 일반화 능력 향상의 필요성을 강조한다.

ABSTRACT

Most recent progress in natural language understanding (NLU) has been driven, in part, by benchmarks such as GLUE, SuperGLUE, SQuAD, etc. In fact, many NLU models have now matched or exceeded "human-level" performance on many tasks in these benchmarks. Most of these benchmarks, however, give models access to relatively large amounts of labeled data for training. As such, the models are provided far more data than required by humans to achieve strong performance. That has motivated a line of work that focuses on improving few-shot learning performance of NLU models. However, there is a lack of standardized evaluation benchmarks for few-shot NLU resulting in different experimental settings in different papers. To help accelerate this line of work, we introduce CLUES (Constrained Language Understanding Evaluation Standard), a benchmark for evaluating the few-shot learning capabilities of NLU models. We demonstrate that while recent models reach human performance when they have access to large amounts of labeled data, there is a huge gap in performance in the few-shot setting for most tasks. We also demonstrate differences between alternative model families and adaptation techniques in the few shot setting. Finally, we discuss several principles and choices in designing the experimental settings for evaluating the true few-shot learning performance and suggest a unified standardized approach to few-shot learning evaluation. We aim to encourage research on NLU models that can generalize to new tasks with a small number of examples. Code and data for CLUES are available at https://github.com/microsoft/CLUES.

연구 동기 및 목표

• 소수의 샘플을 사용하는 NLU 평가를 위한 표준화된 벤치마크 부족 문제를 해결하여, 다양한 모델 및 방법 간의 공정한 비교를 가능하게 한다.
• 인간과 기계의 성능을 동일한 소수 샘플 조건에서 공정하게 비교할 수 있는 통합 평가 프레임워크를 구축한다.
• 문장 분류를 넘어서 명명된 실체 인식, 독해 이해, 시퀀스 레이블링과 같은 다양한 NLU 작업을 포함한다.
• 사용자 지정된 사전 학습된 언어 모델(PLM)이 소수의 레이블된 예시만 제공될 경우 인간에 비해 뚜렷이 열등한 성능을 보임을 입증한다.
• 신뢰할 수 있는 소수 샘플 평가를 위한 설계 원칙을 수립하며, 분산 고려 학습 분할과 검증 데이터 유출 방지를 포함한다.

제안 방법

• 모든 NLU 작업을 '스팬 집합' 추출 문제로 재정의하여, 동일한 메트릭을 사용해 다양한 작업 유형 간 평가를 통일한다.
• 각 소수 샘플 설정(k=10, 20, 30)에 대해 다섯 개의 서로 다른 무작위 분할을 사용하여 모델의 분산과 내구성을 측정한다.
• BERT, RoBERTa, DeBERTa, T5 등 다양한 모델 패밀리와 적응 기법(전체 미세조정, 프롬프트 튜닝, 인라인 컨텍스트 학습(GPT-3))을 평가한다.
• 학습 중에 보류된 검증 세트를 제거하여 평가의 진정한 소수 샘플 성격을 유지하고, 하이퍼파라미터 튜닝 유출 문제를 방지한다.
• 모델 성능과 직접 비교할 수 있도록 동일한 소수 샘플 및 제로 샘플 설정에서 인간의 성능 데이터를 수집한다.
• 작업의 다양성과 복잡성을 고려하여 벤치마크를 설계하여 인간과 모델 간 명확한 성능 격차를 확보한다.

실험 결과

연구 질문

• RQ1 현재 사용 중인 사전 학습된 언어 모델(PLM)은 다양한 소수 샘플 NLU 작업에서 인간 성능에 비해 어떻게 성능을 내는가?
• RQ2 모델 아키텍처, 크기, 적응 기법(예: 미세조정 대비 프롬프트 튜닝)이 소수 샘플 NLU 성능에 어떤 영향을 미치는가?
• RQ3 모델의 분산은 소수 샘플 성능에 어떤 영향을 미치며, 이를 신뢰성 있게 측정할 수 있는가?
• RQ4 복잡한 작업(예: MRC, NER)이 소수 샘플 설정에서 인간과 모델 간 성능 격차에 어떤 영향을 미치는가?
• RQ5 표준화되고 공정하며 신뢰할 수 있는 소수 샘플 NLU 평가 벤치마크를 만들기 위해 필수적인 설계 원칙은 무엇인가?

주요 결과

• 인간은 소수의 레이블된 예시만으로도 높은 성능를 보이며(예: CoNLL03 NER에서 10샷 시 87.7 F1), 강력한 소수 샘플 일반화 능력을 보여준다.
• 모든 평가된 PLM(예: BERT Base, RoBERTa Large)은 소수 샘플 설정에서 NER 및 MRC 작업에서 뚜렷이 열등한 성능를 보이며, 예를 들어 BERT Base는 CoNLL03에서 10샷 시 F1가 51.3에 불과하여 인간 성능에 크게 못 미친다.
• 모델과 인간 간의 성능 격차는 NER 및 MRC와 같은 복잡한 작업에서 가장 두드러지며, 모델의 성능가 랜덤 수준에 가까워진다(예: ReCoRD에서 10샷 시 F1 10.3).
• 소수 샘플 미세조정에서 모델의 분산은 매우 높으며, 특히 더 큰 모델일수록 다양한 무작위 시드와 샷 분할에 따라 성능가 크게 변동한다.
• 학습 중에 검증 세트를 사용할 경우, SST-2에서 소수 샘플 모델 성능이 약 7% 향상된다(예: 76.3에서 83.0 F1로), 이는 평가에서 데이터 유출 위험을 보여준다.
• 프롬프트 기반 미세조정은 전체 미세조정보다 분산이 낮아 소수 샘플 적응에 더 안정적인 것으로 나타났지만, 여전히 인간 수준의 성능에는 훨씬 못 미친다.