[논문 리뷰] Learning How to Ask: Querying LMs with Mixtures of Soft Prompts

Guanghui Qin, Jason Eisner|arXiv (Cornell University)|2021. 04. 14.

Topic Modeling참고 문헌 37인용 수 10

한 줄 요약

이 논문은 사전 훈련된 언어 모델을 쿼리하기 위해 연속 벡터 시퀀스(연속적인 단어가 아닌)인 소프트 프롬프트를 학습하는 방법을 제안한다. 이는 경사 하강법을 사용해 이러한 프롬프트의 혼합을 최적화하는 방식이다. 이 방법은 사실 지식 탐색 작업에서 이전의 접근 방식보다 뚜렷이 뛰어난 성능을 보이며, 랜덤 초기화 상태에서도 여전히 뛰어난 성능을 보여, 언어 모델이 이전에 인식된 것보다 훨씬 더 많은 접근 가능한 지식을 내포하고 있음을 시사한다.

ABSTRACT

Natural-language prompts have recently been used to coax pretrained language models into performing other AI tasks, using a fill-in-the-blank paradigm (Petroni et al., 2019) or a few-shot extrapolation paradigm (Brown et al., 2020). For example, language models retain factual knowledge from their training corpora that can be extracted by asking them to "fill in the blank" in a sentential prompt. However, where does this prompt come from? We explore the idea of learning prompts by gradient descent -- either fine-tuning prompts taken from previous work, or starting from random initialization. Our prompts consist of "soft words," i.e., continuous vectors that are not necessarily word type embeddings from the language model. Furthermore, for each task, we optimize a mixture of prompts, learning which prompts are most effective and how to ensemble them. Across multiple English LMs and tasks, our approach hugely outperforms previous methods, showing that the implicit factual knowledge in language models was previously underestimated. Moreover, this knowledge is cheap to elicit: random initialization is nearly as good as informed initialization.

연구 동기 및 목표

• 수동으로 설계하거나 채굴한 프롬프트를 넘어서 사전 훈련된 언어 모델을 위한 사실 지식 추출을 위한 프롬프팅 성능을 향상시키는 것.
• 연속적이고 학습 가능한 '소프트 프롬프트'가 기존의 이산 단어 프롬프트보다 언어 모델에서 지식을 이끌어내는 데 더 나은 성능을 보일 수 있는지 조사하는 것.
• 소프트 프롬프트를 랜덤 초기화했을 때도 이전 작업에서 유래한 초기화 방식과 동등하거나 그 이상의 성능을 낼 수 있는지 탐색하는 것.
• 각 프롬프트가 작업과 입력에 따라 적응적으로 가중치가 매겨지는 혼합 소프트 프롬프트의 효과성을 평가하는 것.
• 모델의 모든 레이어를 튜닝하는 것(딥 프롬프팅)이 레이어 0만 튜닝하는 것보다 성능 향상에 더 큰 기여를 하는지 확인하는 것.

제안 방법

• 프롬프트를 이산 토큰이 아닌 연속 벡터 시퀀스('소프트 단어')로 표현하여 연속 공간에서 경사 기반 최적화를 가능하게 한다.
• 각 프롬프트를 연속 임베딩의 학습 가능한 시퀀스로 간주하고, 혼합 소프트 프롬프트를 경사 하강법으로 최적화한다.
• 다양한 소프트 프롬프트를 조합하기 위한 미분 가능한 혼합 메커니즘을 사용하며, 입력에 따라 적응적으로 변화하는 학습 가능한 혼합 가중치를 도입한다.
• 클로즈 스타일의 사실 지식 탐색 작업에서 표준 언어 모델링 목표를 사용해 소프트 프롬프트를 엔드 투 엔드로 훈련한다.
• 이를 확장하여 트랜스포머의 모든 레이어에서 임베딩을 튜닝하는 방식(딥 프롬프팅)을 적용한다. 단, 입력 레이어에만 국한되지 않는다.
• 온도 기반 게이팅을 적용하여 데이터에 따라 변하는 혼합 가중치를 허용하고, 입력에 따라 효과적인 프롬프트를 동적으로 선택할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 경사 하강법으로 최적화된 소프트 프롬프트가 수동으로 설계하거나 채굴한 이산 프롬프트보다 사실 지식 탐색 작업에서 뚜렷이 뛰어난 성능을 보일 수 있는가?
• RQ2 소프트 프롬프트를 랜덤 초기화했을 때도 이전 프롬프트에서 유래한 초기화 방식과 동등하거나 더 좋은 성능을 낼 수 있는가? 이는 최적화 과정이 얼마나 강건한지를 시사한다.
• RQ3 학습 가능한 가중치를 가진 소프트 프롬프트의 혼합이 단일 프롬프트보다 다양한 사실 관계에 걸쳐 일반화 능력과 성능을 향상시킬 수 있는가?
• RQ4 모든 트랜스포머 레이어에서 소프트 프롬프트를 튜닝하는 딥 프롬프팅이 레이어 0만 튜닝하는 것보다 추가적인 성능 향상을 가져오는가?
• RQ5 데이터에 따라 변하는 혼합 가중치는 성능에 어떤 영향을 미치며, 모델은 관련 없는 프롬프트 구성 요소를 효과적으로 억제하는가?

주요 결과

• 제안된 소프트 프롬프트 방법은 T-REx 및 Google-RE 데이터셋에서 최신 성능을 기록했으며, BERT-large를 사용한 Google-RE에서 P@1 점수가 14.5를 기록했다. 이는 초기화가 랜덤일 경우에도 성립한다.
• 심지어 랜덤 초기화 상태에서도 LAMA나 LPAQA와 같은 이전의 모든 방법보다 큰 격차로 뛰어난 성능을 보였다. 예를 들어, BERT-large를 사용한 Google-RE에서 기준 LAMA에 비해 P@1 점수로 14.5점 향상되었다.
• 소프트 프롬프트 벡터 자체를 튜닝하는 것이 성능 향상에 가장 큰 기여를 하였으며, 채굴된 초기화를 사용한 T-REx에서 P@1 점수가 12.9에 이르렀다.
• 소프트 프롬프트의 혼합은 단일 프롬프트보다 항상 성능 향상을 이끌었으며, 가장 좋은 성능을 낸 시스템은 채굴된 프롬프트에서 유래한 소프트 프롬프트 혼합을 모든 레이어에서 튜닝한 것이다.
• 딥 프롬프팅(모든 레이어 튜닝)은 소규모이지만 일관된 성능 향상을 가져왔지만, RoBERTa에서는 성능 저하가 발생하여 모델에 따라 민감도가 다름을 시사한다.
• 온도 기반 게이팅을 통한 데이터에 따라 변하는 혼합 가중치는 영향이 미미했으며, 모델은 고온을 설정하여 입력에 따라 가중치를 효과적으로 무시하는 방식으로 학습했다.