[논문 리뷰] AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts

Taylor Shin, Yasaman Razeghi외 3명|arXiv (Cornell University)|2020. 10. 29.

Topic Modeling참고 문헌 26인용 수 66

한 줄 요약

AutoPrompt는 사전 학습된 마스크드 언어 모델로부터 지식을 끌어내기 위한 프롬프트를 자동으로 생성하여, 제로/적은 샷 태스크가 미세조정된 모델과 경쟁적으로 수행되도록 하고, 여러 지식 태스크에서 수동 프롬프트를 능가합니다.

ABSTRACT

The remarkable success of pretrained language models has motivated the study of what kinds of knowledge these models learn during pretraining. Reformulating tasks as fill-in-the-blanks problems (e.g., cloze tests) is a natural approach for gauging such knowledge, however, its usage is limited by the manual effort and guesswork required to write suitable prompts. To address this, we develop AutoPrompt, an automated method to create prompts for a diverse set of tasks, based on a gradient-guided search. Using AutoPrompt, we show that masked language models (MLMs) have an inherent capability to perform sentiment analysis and natural language inference without additional parameters or finetuning, sometimes achieving performance on par with recent state-of-the-art supervised models. We also show that our prompts elicit more accurate factual knowledge from MLMs than the manually created prompts on the LAMA benchmark, and that MLMs can be used as relation extractors more effectively than supervised relation extraction models. These results demonstrate that automatically generated prompts are a viable parameter-free alternative to existing probing methods, and as pretrained LMs become more sophisticated and capable, potentially a replacement for finetuning.

연구 동기 및 목표

• 사전 학습 도중 사전학습된 언어 모델이 획득하는 지식을 조사한다(언어적, 사실적, 일반상식 및 태스크 특화 지식).
• 수동 프롬프트 작성 없이 광범위한 태스크에 대해 프롬프트를 생성하는 자동화된 방법을 개발한다.
• 그래디언트 가이드 프롬프트가 파인튜닝 없이도 감정 분석과 자연어 추론에서 강력한 성능을 보일 수 있음을 보여준다.

제안 방법

• 입력 프롬프트, 트리거 토큰, [MASK] 토큰을 포함하는 템플릿을 사용하여 태스크를 빈칸 채우기 문제로 표현한다.
• 배치 전체에서 라벨 가능도(likelihood)를 최대화하는 트리거 토큰을 학습하기 위해 그래디언트 가이드 검색을 사용한다(논문의 Equation 2).
• 레이블이 어휘 토큰에 대응하는 경우 클래스 확률을 얻기 위해 레이블 토큰에 대해 주변화를 수행한다(Equation 1).
• [MASK] 임베딩에 로지스틱 분류기를 학습시켜 레이블 토큰 선택을 자동화하고, 후보 레이블 토큰을 출력 임베딩과의 호환성으로 점수화한다(Equations 3–5).
• 사전 학습된 MLM(BERT base, RoBERTa large)에서 프롬프트를 평가하되 파인튜닝 없이 수행하며, 태스크(감정 분석, NLI, 사실 검색, 관계 추출) 전반에 걸쳐 비교한다. 수동 프롬프트 및 파인튜닝된 기준선과 비교.
• HuggingFace 모델용 프롬프트를 생성하기 위한 공개 가능한 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 자동으로 생성된 프롬프트가 파인튜닝 없이도 사전 학습된 MLM에서 태스크 지식을 드러낼 수 있는가?
• RQ2 그래디언트 가이드 프롬프트가 감정 분석, NLI, 지식 검색 태스크에서 수동으로 작성된 프롬프트보다 더 뛰어난가?
• RQ3 적은 데이터 상황에서 AutoPrompt 프롬프트와 파인튜닝의 비교는 어떠한가?
• RQ4 AutoPrompt로 프롬프트된 MLM이 텍스트에서 사실적 및 관계적 지식을 어느 정도까지 추출할 수 있는가?

주요 결과

• AutoPrompt는 MLM이 파인튜닝 없이도 감정 분석과 NLI를 수행하게 하며, 때로는 최첨단 감독 모델과 대등한 성능을 보인다.
• AutoPrompt가 찾은 프롬프트는 LAMA에서 수동으로 생성된 프롬프트보다 더 정확한 사실 지식을 이끌어내며(본문에 P@1 개선이 언급됨).
• AutoPrompt로 프롬프트된 MLM은 특정 조건에서 감독 학습된 관계 추출 모델을 능가할 수 있으며 맥락의 진정성에 민감하다.
• 적은 데이터 상황에서 AutoPrompt는 NLI에서 파인튜닝보다 우수할 수 있으며 경우에 따라 RoBERTa의 평균 정확도와 안정성을 높게 제공하는 반면, 감정 분석에서는 파인튜닝보다 뒤처지는 경우도 있다.
• AutoPrompt는 태스크 특화 파인튜닝과 다수의 태스크 특화 체크포인트 저장의 필요성을 줄여 단일 사전 학습 모델이 프롬프트를 통해 많은 태스크를 처리할 수 있게 한다.