[논문 리뷰] FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding

Yanan Zheng, Jing Zhou외 8명|arXiv (Cornell University)|2021. 09. 27.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 소수 샘플 자연어 이해(few-shot natural language understanding)를 위한 표준화된 평가 프레임워크인 FewNLU를 소개한다. 이 프레임워크는 다중 분할(Multi-Splits) 데이터 분할 전략을 통해 신뢰도를 향상시킨다. 이 프레임워크 하에서 최신 기법들을 재평가한 결과, 이전 성능 추정치가 정확하지 않았으며, 다양한 기법 간 성능 향상은 상호 보완적이며, 어떤 한 기법도 모든 작업에서 우월하지 않음을 확인했다. 그러나 통합된 모델은 완전 지도 학습 기준선에 매우 가까운 성능을 달성한다.

ABSTRACT

The few-shot natural language understanding (NLU) task has attracted much recent attention. However, prior methods have been evaluated under a disparate set of protocols, which hinders fair comparison and measuring progress of the field. To address this issue, we introduce an evaluation framework that improves previous evaluation procedures in three key aspects, i.e., test performance, dev-test correlation, and stability. Under this new evaluation framework, we re-evaluate several state-of-the-art few-shot methods for NLU tasks. Our framework reveals new insights: (1) both the absolute performance and relative gap of the methods were not accurately estimated in prior literature; (2) no single method dominates most tasks with consistent performance; (3) improvements of some methods diminish with a larger pretrained model; and (4) gains from different methods are often complementary and the best combined model performs close to a strong fully-supervised baseline. We open-source our toolkit, FewNLU, that implements our evaluation framework along with a number of state-of-the-art methods.

연구 동기 및 목표

• 소수 샘플 NLU 분야에서 표준화된 평가 프rotocol의 부재로 인해 공정한 비교 및 성과 측정이 어렵다는 문제를 해결하기 위해.
• 세 가지 핵심 문제인 테스트 성능, 개발-테스트 상관관계, 하이퍼파rameter 설정에 대한 안정성을 해결함으로써 평가의 신뢰도를 향상시키기 위해.
• 통합적이고 더 엄격한 프레임워크 하에서 최신 소수 샘플 NLU 기법들을 재평가하여 이전에 가려졌던 통찰을 드러내기 위해.
• 다양한 소수 샘플 기법 간 성능 향상이 상호 보완적이며, 이를 조합하면 완전 지도 학습 기준선에 가까운 성능에 이를 수 있음을 보여주기 위해.
• 평가 프레임워크, 최신 기법들, 표준화된 훈련 및 평가 절차를 포함한 오픈소스 툴킷인 FewNLU를 공개하기 위해.

제안 방법

• 라벨이 부여된 데이터에서 반복적으로 다수의 훈련/검증 분할을 샘플링하고 결과를 집계함으로써 신뢰도와 안정성을 향상시키는 다중 분할(Multi-Splits) 전략을 제안한다.
• 개선된 테스트 성능, 높은 개발-테스트 상관관계, 하이퍼파rameter 설정에 대한 안정성이라는 세 가지 바람직한 특성을 갖춘 평가 프레임워크를 설계한다.
• 단일 분할에 대한 과적합을 방지하고 과대평가를 피하기 위해 다수의 무작위 분할에서 반복적인 하이퍼파rameter 선택을 수행한다.
• CLS, PET, ADAPET, P-tuning, FlipDA 등 다양한 소수 샘플 기법을 지원하는 표준화된 훈련 및 평가 파이프라인을 구현한다.
• MLM 손실과 같은 정규화 기법 및 iPET, Noisy Student와 같은 학습 파라다임을 활용하여 성능 향상을 탐색한다.
• 새로운 프레임워크 하에서 벤치마크 결과를 재공개하여 복제 가능성과 기법 간 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 제안된 다중 분할 전략은 기존의 데이터 분할 전략과 비교해 테스트 성능, 개발-테스트 상관관계, 안정성 측면에서 어떻게 다른가?
• RQ2 불완전한 평가 프로토콜로 인해 이전 소수 샘플 NLU 성능 추정치가 얼마나 정확하지 않았는가?
• RQ3 다양한 소수 샘플 기법의 성능 향상은 상호 보완적인가? 그리고 이를 조합하면 완전 지도 학습 성능에 도달할 수 있는가?
• RQ4 일관되게 다른 기법들보다 뛰어난 성능을 보이는 단일 소수 샘플 기법이 존재하는가?
• RQ5 모델 규모가 ADAPET와 같은 소수 샘플 기법의 상대적 성능에 어떤 영향을 미치는가?

주요 결과

• 다중 분할 전략은 기준 분할 전략 대비 테스트 성능, 개발-테스트 상관관계, 안정성 측면에서 뚜렷한 향상을 보이며, 더 신뢰할 수 있는 평가 프로토콜을 확립한다.
• 이전 문헌은 신뢰할 수 없는 평가 절차로 인해 소수 샘플 기법의 절대 성능과 상대적 향상도를 체계적으로 과대평가했으며, 표준화된 벤치마크의 필요성을 강력히 시사한다.
• 다양한 소수 샘플 기법 간 성능 향상은 대부분 상호 보완적이며, 그 조합은 강력한 RoBERTa 완전 지도 학습 기준선과 평균 2.89점의 성능 격차만을 보인다.
• 어떤 한 소수 샘플 기법도 모든 작업에서 우월하지 않으며, 성능은 작업에 따라 크게 달라지므로 더 강력하고 일관된 기법이 필요하다.
• 특정 기법(예: ADAPET)의 이점은 DeBERTa와 같은 더 큰 사전 학습 모델에 적용할 경우 감소하며, 스케일링 효과가 비단조화롭다는 것을 시사한다.
• 최고의 성능을 보이는 통합 모델은 어떤 개별 기법보다 뛰어나며, 완전 지도 학습 성능에 매우 가까이 도달함으로써 앙상블 기반 소수 샘플 학습의 잠재력을 입증한다.