[논문 리뷰] Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration

Feng Nie, Meixi Chen외 2명|arXiv (Cornell University)|2022. 12. 05.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 사전 학습된 언어 모델에서 few-shot 인라인 학습 성능을 향상시키기 위해 캐시된 지원 예제 표현의 k-최근접 이웃을 동적으로 검색하고 예측을 校정하는 nearest-neighbor 校정 프레임워크를 제안한다. 이 방법은 적응형 이웃 선택과 특징 정규화를 통해 프롬프트 설계에 대한 민감도를 감소시켜 성능을 크게 향상시키며, 단일 문장 태스크에서 평균 12.8%의 정확도 향상을 기록하고, 감성 분석에서 파라미터 튜닝 기반 최신 기술과 동등한 성능을 달성한다.

ABSTRACT

Pre-trained language models (PLMs) have exhibited remarkable few-shot learning capabilities when provided a few examples in a natural language prompt as demonstrations of test instances, i.e., in-context learning. However, the performance of in-context learning is susceptible to the choice of prompt format, training examples and the ordering of the training examples. In this paper, we propose a novel nearest-neighbor calibration framework for in-context learning to ease this issue. It is inspired by a phenomenon that the in-context learning paradigm produces incorrect labels when inferring training instances, which provides a useful supervised signal to calibrate predictions. Thus, our method directly augments the predictions with a $k$-nearest-neighbor ($k$NN) classifier over a datastore of cached few-shot instance representations obtained by PLMs and their corresponding labels. Then adaptive neighbor selection and feature regularization modules are introduced to make full use of a few support instances to reduce the $k$NN retrieval noise. Experiments on various few-shot text classification tasks demonstrate that our method significantly improves in-context learning, while even achieving comparable performance with state-of-the-art tuning-based approaches in some sentiment analysis tasks.

연구 동기 및 목표

• 인라인 학습의 프롬프트 템플릿, 예제 순서, 버벌라이저 선택에 대한 높은 민감도를 해결하기 위해.
• 지원 예제에서 인라인 학습 예측의 일관성 없음을 校정을 위한 지도 신호로 활용하기 위해.
• 파라미터 튜닝 없이 인스턴스 기반 검색을 통해 PLM 예측을 향상시켜 few-shot 텍스트 분류 성능을 향상시키기 위해.
• 적응형 이웃 선택과 특징 정규화를 통해 k-NN 검색의 노이즈를 감소시키기 위해.
• few-shot 설정에서 인라인 학습과 파라미터 튜닝 기반 방법 간의 성능 격차를 해소하기 위해.

제안 방법

• 기본 PLM의 최종 히든 상태를 인스턴스 표현으로 사용하여, 캐시된 few-shot 지원 예제 표현과 레이블의 데이터베이스 위에 k-최근접 이웃(k-NN) 분류기를 도입함으로써 인라인 학습 예측을 보강한다.
• 유사한 표현을 가졌지만 레이블이 다른 인스턴스를 분리하기 위해 경량 특징 정규화 모듈을 사용하여 검색 노이즈를 감소시킨다.
• 로컬 표현 유사도에 기반하여 각 입력에 대해 최적의 이웃 수를 동적으로 결정하는 적응형 이웃 선택 모듈을 활용한다.
• k-NN 분류기가 원본 PLM 예측 분포를 보정하기 위해 가장 유사한 few-shot 예제들을 검색한다.
• 프레임워크는 BERT 및 GPT 스타일의 PLM 위에서 작동하며, 최종 히든 상태를 인스턴스 표현으로 사용한다.
• 이 방법은 엔드 투 엔드로 미분 가능하며 기초 PLM의 파라미터 업데이트가 필요 없다.

실험 결과

연구 질문

• RQ1 인라인 학습 예측에서 지원 예제에 대한 일관성 없는 결과를 校정을 위한 지도 신호로 활용할 수 있는가?
• RQ2 few-shot 지원 예제의 k-NN 검색은 어떻게 인라인 학습의 강건성과 정확도를 향상시킬 수 있는가?
• RQ3 검색 기반 보강 접근법은 얼마나 높은 수준의 파라미터 튜닝 기반 방법에 도달하거나 초월할 수 있는가?
• RQ4 적응형 이웃 선택과 특징 정규화는 few-shot 설정에서 k-NN 검색 노이즈를 어떻게 감소시키는가?
• RQ5 제안된 방법은 프롬프트 설계 선택에 따른 성능 변동성을 줄이는가?

주요 결과

• 제안된 k-NN 校정 방법은 단일 문장 텍스트 분류 태스크에서 표준 인라인 학습 대비 평균 12.8%의 절대 정확도 향상을 기록한다.
• SST-2 데이터셋에서 정확도는 81.2% (ICL)에서 88.3% (KNN-C-ICL)로 향상되었으며, 최악의 경우 1.8%의 정확도 향상을 기록한다.
• SST-2 및 SST-5와 같은 감성 분석 태스크에서, 파라미터 튜닝 기반 최신 기술과 유사한 성능을 달성한다.
• 다양한 프롬프트 구성에 따른 성능 표준편차를 감소시켜 프롬프트 설계에 대한 민감도가 낮아짐을 나타낸다.
• 특징 정규화 모듈은 특히 유사한 표현이지만 서로 다른 레이블을 가진 경우에 노이즈를 감소시킨다.
• 적응형 이웃 선택 메커니즘은 입력 유사도에 따라 이웃 수를 동적으로 조정함으로써 강건성을 향상시킨다.