[논문 리뷰] Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning

Xiangyu Peng, Xing Chen외 3명|arXiv (Cornell University)|2022. 10. 23.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 소수의 샘플만 있는 경우 성능을 햖스키는 샘플별로 다른 소스 모델 예측을 적응적으로 가중하는 방법인 샘플별 소스 모델 앙상블(SeSoM)을 제안한다. 프롬프트 융합과는 달리, SeSoM는 어텐션 기반 가중치 메커니즘을 사용하는 샘플별 앙상블 전략을 사용하여, 8개의 NLP 작업과 3개의 모델 스케일(T5-Base에서 T5-XL까지)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Prompt tuning approaches, which learn task-specific soft prompts for a downstream task conditioning on frozen pre-trained models, have attracted growing interest due to its parameter efficiency. With large language models and sufficient training data, prompt tuning performs comparably to full-model tuning. However, with limited training samples in few-shot settings, prompt tuning fails to match the performance of full-model fine-tuning. In this work, we focus on improving the few-shot performance of prompt tuning by transferring knowledge from soft prompts of source tasks. Recognizing the good generalization capabilities of ensemble methods in low-data regime, we first experiment and show that a simple ensemble of model predictions based on different source prompts, outperforms existing multi-prompt knowledge transfer approaches such as source prompt fusion in the few-shot setting. Motivated by this observation, we further investigate model ensembles and propose Sample-specific Ensemble of Source Models (SESoM). SESoM learns to adjust the contribution of each source model for each target sample separately when ensembling source model outputs. Through this way, SESoM inherits the superior generalization of model ensemble approaches and simultaneously captures the sample-specific competence of each source prompt. We conduct experiments across a diverse set of eight NLP tasks using models of different scales (T5-{base, large, XL}) and find that SESoM consistently outperforms the existing models of the same as well as larger parametric scale by a large margin.

연구 동기 및 목표

• 라벨이 부족한 경우 소수의 프롬프트 튜닝 성능을 향상시키기 위해.
• 낮은 데이터 환경에서 기존의 다중 프롬프트 지식 전이 방법(예: 프롬프트 융합)의 한계를 해결하기 위해.
• 다양한 소스 작업의 소프트 프롬프트를 활용하여 소수의 예시 설정에서 일반화 능력을 향상시키기 위해.
• 고정된 융합 규칙을 적용하는 대신 개별 타겟 샘플에 맞게 적응하는 모델 앙상블 전략을 개발하기 위해.
• 샘플별로 다른 앙상블 전략이 소수의 NLP 작업에서 프롬프트 수준 융합과 균일한 앙상블 기준선보다 더 우수한 성능을 내는지 입증하기 위해.

제안 방법

• 다양한 소스 모델의 예측을 동적으로, 샘플별로 가중하는 앙상블 전략을 제안한다.
• 각 타겟 입력에 대해 특성과 각 소스 모델의 성능을 바탕으로 적응적인 앙상블 가중치를 생성하기 위해 어텐션 기반 네트워크(G)를 사용한다.
• 타겟 작업의 소수의 레이블이 있는 데이터를 사용하여 앙상블 가중치를 훈련시켜, 각 샘플에 대해 가장 능력 있는 소스 모델을 학습할 수 있도록 한다.
• 프롬프트 융합을 모델 수준의 앙상블로 대체한다: 소프트 프롬프트를 융합하는 대신, 학습된 어텐션 가중치를 사용해 모델 출력을 융합한다.
• 고정된 사전 학습 모델(T5-base, large, XL)과 통합하여 SESoM를 적용하고, 타겟 작업에 대한 소프트 프롬프트만 미세조정하며 나머지 파라미터는 고정한다.
• 학습된 어텐션 가중치를 사용해 소스 모델의 로짓을 평균 내어, 낮은 데이터 환경에서의 정확성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 소스 모델의 예측을 단순히 균일하게 평균 내는 앙상블 전략이 소수의 프롬프트 튜닝에서 프롬프트 융합보다 우수한가?
• RQ2 각 타겟 샘플이 고유한 소스 모델 기여 조합을 가지는 샘플별 앙상블 전략이 고정되거나 균일한 앙상블보다 더 효과적인가?
• RQ3 SESoM의 성능은 다양한 NLP 작업과 모델 스케일에서 프롬프트 융합 및 다른 앙상블 기준선과 비교해 어떻게 되는가?
• RQ4 SESoM가 학습한 어텐션 가중치는 개별 타겟 샘플에서 소스 모델의 실제 예측 능력과 일치하는가?
• RQ5 타겟 작업의 레이블이 있는 샘플 수가 매우 적을 때도 SESoM은 잘 일반화되는가?

주요 결과

• 소스 모델 예측의 단순한 균일한 로짓 평균화 앙상블 전략이 소수의 예시 설정에서 프롬프트 융합과 다른 다중 프롬프트 지식 전이 방법보다 더 뛰어난 성능을 보였다.
• SESoM는 평가된 8개의 NLP 작업과 3개의 T5 모델 스케일(Base, Large, XL)에서 모든 기준선, 즉 프롬프트 융합과 다른 앙상블 방법보다 끊임없이 뛰어난 성능을 보였다.
• MRPC 작업에 대한 사례 연구에서 SESoM는 각 타겟 샘플에서 정확한 예측을 내는 소스 모델에 더 높은 어텐션 가중치를 할당하여 샘플별 적응성의 가능성을 입증했다.
• SESoM의 모듈 G가 생성한 어텐션 가중치는 각 샘플에서 소스 모델의 실제 성능과 잘 일치하여, 모델이 맥락 인식 가능한 적절한 앙상블 전략을 학습할 수 있음을 확인했다.
• SESoM는 레이블이 있는 샘플 수와 소스 작업의 수가 증가함에 따라 뛰어난 성능 유지를 유지하여 강건성과 확장성의 우수함을 입증했다.
• 모든 테스트 환경에서 최신 기술 수준의 성능을 달성하여, 샘플별 가중치를 적용한 모델 수준의 앙상블 전략이 프롬프트 수준의 융합보다 더 효과적임을 입증했다.