[논문 리뷰] OpenPrompt: An Open-source Framework for Prompt-learning

Ning Ding, Shengding Hu외 5명|arXiv (Cornell University)|2021. 11. 03.

Topic Modeling인용 수 64

한 줄 요약

OpenPrompt는 템플레이트, 발화자(verbalizers), PLMs, 및 training을 모듈화하여 NLP 태스크 전반에 걸친 유연한 조합과 빠른 실험을 가능하게 하는 통합적이고 확장 가능한 오픈 소스 도구 키트이다.

ABSTRACT

Prompt-learning has become a new paradigm in modern natural language processing, which directly adapts pre-trained language models (PLMs) to $cloze$-style prediction, autoregressive modeling, or sequence to sequence generation, resulting in promising performances on various tasks. However, no standard implementation framework of prompt-learning is proposed yet, and most existing prompt-learning codebases, often unregulated, only provide limited implementations for specific scenarios. Since there are many details such as templating strategy, initializing strategy, and verbalizing strategy, etc. need to be considered in prompt-learning, practitioners face impediments to quickly adapting the desired prompt learning methods to their applications. In this paper, we present {OpenPrompt}, a unified easy-to-use toolkit to conduct prompt-learning over PLMs. OpenPrompt is a research-friendly framework that is equipped with efficiency, modularity, and extendibility, and its combinability allows the freedom to combine different PLMs, task formats, and prompting modules in a unified paradigm. Users could expediently deploy prompt-learning frameworks and evaluate the generalization of them on different NLP tasks without constraints. OpenPrompt is publicly released at {\url{ https://github.com/thunlp/OpenPrompt}}.

연구 동기 및 목표

• 다양한 템플릿, 발화자, 및 PLMs를 수용하는 프롬프트 학습을 위한 통합적이고 사용하기 쉬운 도구 키트를 제공한다.
• 작업 간 프롬프트 학습 방법의 일반화를 평가할 수 있도록 구성 가능한 조합을 가능하게 한다.
• 프롬프트 학습 파이프라인을 구현하는 연구자와 실무자를 위해 재현성과 접근성을 향상시킨다.
• 프롬프트 학습 방법 및 베이스라인의 빠른 배포와 실험을 지원한다.

제안 방법

• Template, Verbalizer, PromptModel, and Trainer 구성요소를 교환 가능한 모듈식 아키텍처로 구현한다.
• HuggingFace Transformers를 통해 로드되는 MLM, LM, Seq2Seq의 세 가지 PLM 목표 계열에 대한 지원을 제공한다.
• 토큰 수준의 사용자 정의 및 유연한 프롬프트 구성을 가능하게 하는 새로운 템플릿 언어를 제공한다.
• 보정 옵션이 있는 수동형 및 자동형 발화자를 포함한다.
• 작업별 헤드를 필요로 하지 않는 PLM 간의 학습/추론을 추상화하는 PromptModel을 제공한다.
• 매개변수 효율성을 위한 프롬프트-PLM 공동 튜닝과 프롬프트 전용 튜닝을 위한 학습 모드를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 PLMs와 프롬프트 전략을 지원하는 모듈형이고 재사용 가능한 프레임워크로 프롬프트 학습을 표준화할 수 있는 방법은 무엇인가?
• RQ2 OpenPrompt가 서로 다른 프롬프트 방법(수동 및 소프트 템플릿, 다양한 발화자)을 통합하여 NLP 태스크 간 공정한 비교를 가능하게 할 수 있는가?
• RQ3 저데이터 상황 및 대형 PLM에서 어떤 템플릿, 발화자, 및 학습 체계가 효과적인 프롬프트 학습을 생성하는가?
• RQ4 구조가 분류, 생성 및 지식 탐색과 같은 태스크 전반에서 빠른 배포, 실험 및 평가를 어떻게 촉진하는가?

주요 결과

• OpenPrompt는 PLMs, 작업 형식, 프롬프트 모듈의 유연한 조합을 가능하게 하는 모듈식이고 결합 가능한 프레임워크를 제공합니다.
• 이 프레임워크는 MLM, LM, Seq2Seq PLMs를 지원하고 단일 인터페이스를 통해 손실 계산을 자동으로 처리합니다.
• 템플릿 언어 및 토크나이제이션 모듈은 프롬프트 구성을 단순화하고 템플릿/토크나이제이션 오류를 줄입니다.
• 발화자는 라벨에서 어휘 단어로의 수동 및 자동 매핑을 가능하게 하며 보정 기능이 구현되어 있습니다.
• PromptModel은 각 PLM에 대해 작업 특화 헤드를 작성하지 않고 학습 및 추론을 가능하게 합니다.
• OpenPrompt는 다양한 NLP 태스크에서 베이스라인을 재현하기 위한 데이터 프로세서와 학습 유틸리티를 포함합니다.