[논문 리뷰] Learning a Better Initialization for Soft Prompts via Meta-Learning

Yukun Huang, Kun Qian외 1명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 소프트 프롬프트 초기화를 향상시키기 위해 사전 훈련 데이터를 메타태스크로 군집화하여 잠재적 구조를 발견함으로써 소수 샘플 프롬프트 튜닝에서의 성능을 향상시키는 메타러닝 프레임워크인 MetaPT를 제안한다. 이러한 군집에 기반해 모델에 종속되지 않는 메타러닝(MAML)을 사용해 프롬프트를 사전 훈련함으로써 MetaPT는 PPT 및 전체 미세조정과 같은 최신 기법들보다도 더 뛰어나고 안정적인 성능을 달성한다. 이는 일곱 가지 다운스트림 NLP 작업에서 소수 샘플 설정 하에서 입증되었다.

ABSTRACT

Prompt tuning (PT) is an effective approach to adapting pre-trained language models to downstream tasks. Without a good initialization, prompt tuning doesn't perform well under few-shot settings. So pre-trained prompt tuning (PPT) is proposed to initialize prompts by leveraging pre-training data. We propose MetaPT (Meta-learned Prompt Tuning) to further improve PPT's initialization by considering latent structure within the pre-training data. Specifically, we introduce the structure by first clustering pre-training data into different auxiliary tasks with unsupervised methods. Then we use these tasks to pre-train prompts with a meta-learning algorithm. Such a process can make prompts learn a better initialization by discovering commonalities among these auxiliary tasks. We evaluate our method on seven downstream tasks. Our MetaPT achieves better and more stable performance than the state-of-the-art method.

연구 동기 및 목표

• 소수 샘플 설정에서 나쁜 소프트 프롬프트 초기화로 인한 프롬프트 튜닝의 열악한 성능을 해결하기 위해.
• 사전 훈련 데이터 포인트를 동등하게 취급하는 대신, 사전 훈련 데이터의 잠재적 구조를 통합함으로써 Pre-trained Prompt Tuning(PPT)을 향상시키기 위해.
• 비지도 군집화와 메타러닝을 활용해 소프트 프롬프트에 더 일반적이고 전이 가능한 초기화를 학습하는 방법을 개발하기 위해.
• 소수 샘플 설정에서 다양한 다운스트림 NLP 작업에서 제안된 방법의 효과성과 안정성을 평가하기 위해.

제안 방법

• Sentence-BERT 모델을 사용한 문장 임베딩과 K-means 군집화를 활용해 사전 훈련 데이터를 보조 메타태스크로 군집화하기.
• 결과로 도출된 군집을 별개의 메타러닝 태스크로 삼아, 모델에 종속되지 않는 메타러닝(MAML)을 통해 소프트 프롬프트를 사전 훈련하기.
• 군집 간의 공통된 구조를 활용해 소프트 프롬프트가 작업에 특화된 노이즈가 아닌 일반화 가능한 특징을 학습하도록 유도하기.
• 추가적인 미세조정 없이 사전 훈련된 소프트 프롬프트를 다운스트림 태스크에 적용하여 소수 샘플 설정에서 신속하고 안정적인 적응을 가능하게 하기.
• PPT 및 전체 미세조정과의 비교를 위해 일곱 가지 다운스트림 NLP 태스크에서 소수 샘플 조건 하에서 성능 평가하기.

실험 결과

연구 질문

• RQ1 사전 훈련 데이터에서 파생된 구조적 메타태스크에서 학습함으로써 소수 샘플 프롬프트 튜닝을 위한 소프트 프롬프트 초기화가 향상될 수 있는가?
• RQ2 군집화 방법의 선택(예: K-means, LDA, 무작위, 레이블 기반)이 메타러닝된 프롬프트의 성능에 어떤 영향을 미치는가?
• RQ3 메타러닝에 가장 적합한 군집 수는 얼마이며, 이는 성능과 수렴에 어떤 영향을 미치는가?
• RQ4 제안된 방법에서 얻는 좋은 성능을 달성하기 위해 얼마나 많은 사전 훈련 데이터가 필요한가?

주요 결과

• K-means 군집화를 사용할 경우, 소수 샘플 설정에서 SST-5에서 PPT보다 3.35% 높은 정확도를 기록하여 46.24%의 정확도를 달성했다.
• K-means 군집화가 가장 높은 성능(46.24 ± 0.42)을 기록했으며, LDA(44.10 ± 0.83), 무작위(42.95 ± 1.05), 레이블 기반 군집화(42.84 ± 0.76)를 상당히 앞서며 성능이 뛰어났다.
• 10,000개의 사전 훈련 샘플 이후 성능이 정체됨을 확인하여, 이 이상의 데이터 볼륨은 이 포인트 이후에 성능 향상에 크게 기여하지 않는 것으로 나타났다.
• 군집 수는 성능에 강한 영향을 미치며, 최적의 결과는 K=10에서 달성되었고, K=20 이상에서는 성능이 안정화되었다.
• t-SNE 시각화 결과 K-means 군집이 의미적으로 유사한 문장을 함께 묶고 있음을 확인하여, 유의미한 메타태스크의 구조가 도출되었음을 검증했다.