[논문 리뷰] GLUE-X: Evaluating Natural Language Understanding Models from an Out-of-distribution Generalization Perspective

Linyi Yang, Shuibai Zhang외 7명|arXiv (Cornell University)|2022. 11. 15.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 15개의 공개 데이터셋과 8개의 NLP 작업을 통해 사전 훈련된 언어 모델(PLM)의 분포 외 일반화(out-of-distribution, OOD) 성능을 평가하기 위한 통합 벤치마크인 GLUE-X를 소개한다. 모든 모델에서 OOD 설정에서의 성능 저하가 뚜렷하게 나타나며, 이는 OOD에 대한 강건성 향상의 긴급한 필요성을 드러내며, 모델 아키텍처와 튜닝 전략이 다중 도메인 성능에 상당한 영향을 미친다는 것을 입증한다.

ABSTRACT

Pre-trained language models (PLMs) are known to improve the generalization performance of natural language understanding models by leveraging large amounts of data during the pre-training phase. However, the out-of-distribution (OOD) generalization problem remains a challenge in many NLP tasks, limiting the real-world deployment of these methods. This paper presents the first attempt at creating a unified benchmark named GLUE-X for evaluating OOD robustness in NLP models, highlighting the importance of OOD robustness and providing insights on how to measure the robustness of a model and how to improve it. The benchmark includes 13 publicly available datasets for OOD testing, and evaluations are conducted on 8 classic NLP tasks over 21 popularly used PLMs, including GPT-3 and GPT-3.5. Our findings confirm the need for improved OOD accuracy in NLP tasks, as significant performance degradation was observed in all settings compared to in-distribution (ID) accuracy.

연구 동기 및 목표

• NLP 모델에서 분포 외 일반화(OOD) 성능을 평가하기 위한 통합 벤치마크 부족 문제를 해결한다.
• 다양한 NLP 작업 간에 분포 내(ID) 성능 대비 분포 외(OOD) 성능 저하 정도를 조사한다.
• 사전 훈련된 모델 아키텍처와 미세조정 전략이 OOD 강건성에 미치는 영향을 분석한다.
• 특징 수준에서 OOD 일반화에 영향을 주는 내부 요인에 대한 통찰을 제공한다.
• 공개 가능하고 표준화된 벤치마크를 구축하여 향후 NLP 분야의 도메인 일반화 연구의 기반을 마련한다.

제안 방법

• 다양한 도메인의 8개의 표준 NLP 작업에서 15개의 공개 가능 OOD 데이터셋을 조합한 GLUE-X를 구축한다.
• 각 작업에 최소 두 개의 서로 다른 분포 외 테스트 도메인을 포함시켜 교차 분포 평가를 가능하게 한다.
• 모든 작업에서 일관된 실험 조건 하에 21개의 대표적인 사전 훈련된 언어 모델(PLM)을 평가한다.
• 선형 프로빙, 미세조정, 선형 프로빙 후 미세조정(LP-FT)의 세 가지 튜닝 전략을 적용하여 OOD 성능에 미치는 영향을 평가한다.
• 모델 특징에 대한 사후 분석을 수행하여 OOD 강건성 또는 실패의 내부 원인을 규명한다.
• ID 성능과 OOD 성능 간의 상관관계 분석을 통해 도메인 내 결과로부터 OOD 일반화의 예측 가능성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 현재 사전 훈련된 언어 모델은 분포 내 데이터와 비교해 분포 외 데이터에서 얼마나 성능이 떨어지는가?
• RQ2 다양한 사전 훈련된 모델 아키텍처와 크기는 OOD 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 선형 프로빙, 미세조정, 또는 LP-FT 중 어떤 튜닝 전략이 다양한 NLP 작업에서 가장 높은 OOD 강건성을 제공하는가?
• RQ4 다양한 작업과 데이터셋 간에 분포 내와 분포 외 성능 간의 상관관계는 어떠한가?
• RQ5 어떤 내부 모델 특성 또는 특징 수준의 패턴이 NLP 모델의 OOD 일반화를 촉진하거나 저해하는가?

주요 결과

• 모든 평가 대상 모델이 OOD 데이터에서 심각한 성능 저하를 보이며, 특히 COLA 작업에서 가장 큰 감소가 관찰되어 심각한 강건성 격차를 시사한다.
• 대부분의 작업에서 분포 내와 분포 외 성능 간에 선형 상관관계가 존재하지만, 이 상관관계의 강도는 OOD 데이터셋 선택에 따라 크게 달라진다.
• 구분 모델(RoBERTa, BERT 등)은 생성 모델(GPT-2 변종 등)보다 ID와 OOD 성능 간 선형 상관관계가 더 강하며, 이는 아키텍처의 차이가 일반화 예측 가능성에 영향을 준다는 것을 시사한다.
• LP-FT 튜닝 전략은 표준 미세조정 대비 약간이지만 일관된 OOD 정확도 향상을 보이며, 강건성 향상의 잠재적 길을 제시한다.
• 동일한 아키텍처로 사전 훈련된 모델들(e.g., ELECTRA-small 및 ELECTRA-large)이 유사한 OOD 성능을 달성함으로써, 아키텍처와 크기가 강건성의 핵심 결정 요소임을 시사한다.
• MRPC에서 관찰된 ID와 OOD 성능 간의 반비례 상관관계는 작업별 데이터 희소성과 분포 이탈이 기대와 반대로 성능 패턴을 초래할 수 있음을 시사한다.