[논문 리뷰] Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot Classification

Neel Guha, Mayee F. Chen외 4명|arXiv (Cornell University)|2023. 07. 20.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 GPT-JT에서 평균 F1 점수를 7.3점 향상시키며, 레이블이 없는 데이터를 활용해 언어 모델 예측을 개선함으로써 소수의 샘플로 텍스트 분류 성능을 향상시키는 약한 지도 학습 방법인 Embroid를 제안한다. 이는 여러 임베딩 공간에서 k개 이웃에 대한 예측 일致성을 활용하며, 잠재 변수 모델을 통해 이를 조합하여 잘못된 예측을 수정한다. 이로 인해 1.3B 파라미터 모델이 6.7B 지시 fine-tuning 모델을 능가할 수 있게 되었으며, 평균 F1 향상은 7.3점에 이른다.

ABSTRACT

Recent work has shown that language models' (LMs) prompt-based learning capabilities make them well suited for automating data labeling in domains where manual annotation is expensive. The challenge is that while writing an initial prompt is cheap, improving a prompt is costly -- practitioners often require significant labeled data in order to evaluate the impact of prompt modifications. Our work asks whether it is possible to improve prompt-based learning without additional labeled data. We approach this problem by attempting to modify the predictions of a prompt, rather than the prompt itself. Our intuition is that accurate predictions should also be consistent: samples which are similar under some feature representation should receive the same prompt prediction. We propose Embroid, a method which computes multiple representations of a dataset under different embedding functions, and uses the consistency between the LM predictions for neighboring samples to identify mispredictions. Embroid then uses these neighborhoods to create additional predictions for each sample, and combines these predictions with a simple latent variable graphical model in order to generate a final corrected prediction. In addition to providing a theoretical analysis of Embroid, we conduct a rigorous empirical evaluation across six different LMs and up to 95 different tasks. We find that (1) Embroid substantially improves performance over original prompts (e.g., by an average of 7.3 points on GPT-JT), (2) also realizes improvements for more sophisticated prompting strategies (e.g., chain-of-thought), and (3) can be specialized to domains like law through the embedding functions.

연구 동기 및 목표

• 수동 프롬프트 튜닝의 높은 비용 문제를 해결하기 위해, 레이블이 없는 데이터 없이도 예측 성능을 향상시키는 방법을 개발하는 것.
• 레이블이 없는 데이터와 약한 지도 학습만을 사용해 잘못된 예측을 수정하는 프롬프트 패치 기법을 개발하는 것.
• 이론적으로 설명 가능하고, 빠르며, 성능 악화를 방지하는 내성적 안정성을 확보하는 것.
• 체인 오브 타ught 및 법률과 같은 전문 분야를 포함한 다양한 모델, 작업, 프롬프팅 전략에 대해 이 방법을 평가하는 것.

제안 방법

• Embroid는 N개의 다른 임베딩 함수를 사용해 각 샘플의 k개 이웃을 계산하여 의미적으로 유사한 샘플을 식별한다.
• 각 임베딩 공간에서 이웃 샘플의 언어 모델 예측에 대해 스케일링된 수정된 다수결 투표를 계산하여 부드러운 이웃 투표를 생성한다.
• 기본 언어 모델 예측과 N개의 부드러운 투표를, 방법의 모멘트 추정기를 통해 신속하게 추정한 잠재 변수 그래픽 모델을 사용해 조합한다.
• 투표는 해당 소스의 전반적 평균을 초과하는지 여부에 따라 ±1로 설정되는 임계값 전략을 사용한다.
• 다양한 임베딩 공간에서 신호를 집계함으로써, 특정한 불완전한 표현에 의존하는 것을 줄여, 강건성을 확보한다.
• 체인 오브 타ught 및 소수의 샘플 프롬프팅과 같은 다양한 프롬프팅 전략과 호환되며, 도메인 특화 임베딩에 쉽게 적용 가능하다.

Figure 1 : The Embroid method for prompt-patching.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터 없이도 이웃 일치성에 기반한 예측 스무딩이 소수의 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 Embroid의 성능는 임베딩 함수의 품질과 기본 프롬프트 정확도에 어떻게 의존하는가?
• RQ3 Embroid는 GPT-3.5, J1-Jumbo, OPT, Bloom, GPT-JT 등 다양한 언어 모델과 체인 오브 타ught, 고급 프롬프팅 기법을 포함한 다양한 프롬프팅 전략에서 성능 향상을 이끌 수 있는가?
• RQ4 도메인 특화 임베딩을 사용해 법률과 같은 전문 분야에 효과적으로 적용할 수 있는가?
• RQ5 기존의 약한 지도 학습 방법인 AMA와 비교했을 때 Embroid의 성능와 강건성은 어떠한가?

주요 결과

• GPT-JT에서 95개 작업 전반에 걸쳐 평균 F1 점수를 7.3점 향상시켰으며, 작은 모델에서도 성능 향상이 관찰되었다.
• 1.3B 파라미터 모델이 6.7B 지시 fine-tuning 모델을 능가할 수 있도록 해, 높은 효율성 향상을 입증했다.
• GPT-3.5에서는 평균 4.9 F1 점수 향상이 이루어졌으며, 성능 악화 위험은 최소한이었다.
• GPT-3.5, J1-Jumbo, OPT, Bloom, GPT-JT를 포함한 여섯 종류의 언어 모델에서 일관된 성능 향상을 달성했다.
• Embroid는 고급 프롬프팅 전략과 상호보완적이며, 체인 오브 타ught, AMA, 선택적 주석 프롬프트에 적용했을 때 성능 향상을 이끌어냈다.
• 초기 설정 값인 τ⁺ᵢ = τ⁻ᵢ = E[λᵢ]를 사용해도 최적에 가까운 성능를 달성했으며, 하이퍼파rameter 조정이 거의 필요하지 않아 안정성이 뛰어나다.