[論文レビュー] OpenPrompt: An Open-source Framework for Prompt-learning

Ning Ding, Shengding Hu+5 more|arXiv (Cornell University)|Nov 3, 2021

Topic Modeling被引用数 64

ひとこと要約

OpenPrompt は、テンプレート、Verbalizer、PLM、訓練をモジュール化し、柔軟な組み合わせと迅速な実験を可能にする、統一的で拡張性のあるオープンソースのプロンプト学習ツールキットを提供します。

ABSTRACT

Prompt-learning has become a new paradigm in modern natural language processing, which directly adapts pre-trained language models (PLMs) to $cloze$-style prediction, autoregressive modeling, or sequence to sequence generation, resulting in promising performances on various tasks. However, no standard implementation framework of prompt-learning is proposed yet, and most existing prompt-learning codebases, often unregulated, only provide limited implementations for specific scenarios. Since there are many details such as templating strategy, initializing strategy, and verbalizing strategy, etc. need to be considered in prompt-learning, practitioners face impediments to quickly adapting the desired prompt learning methods to their applications. In this paper, we present {OpenPrompt}, a unified easy-to-use toolkit to conduct prompt-learning over PLMs. OpenPrompt is a research-friendly framework that is equipped with efficiency, modularity, and extendibility, and its combinability allows the freedom to combine different PLMs, task formats, and prompting modules in a unified paradigm. Users could expediently deploy prompt-learning frameworks and evaluate the generalization of them on different NLP tasks without constraints. OpenPrompt is publicly released at {\url{ https://github.com/thunlp/OpenPrompt}}.

研究の動機と目的

• 多様なテンプレート、Verbalizer、PLM に対応する、統一的で使いやすいプロンプト学習ツールキットを提供する。
• タスク間での一般化を評価するための、組み合わせ可能な構成を実現する。
• プロンプト学習パイプラインを実装する研究者と実務家の再現性とアクセス性を向上させる。
• プロンプト学習手法とベースラインの迅速な展開と実験をサポートする。

提案手法

• Template、Verbalizer、PromptModel、およびTrainer コンポーネントを互換性のあるモジュラーアーキテクチャ。
• HuggingFace Transformers 経由で読み込む、3つのPLM目的関数群（MLM、LM、Seq2Seq）をサポート。
• トークンレベルのカスタマイズと柔軟なプロンプト構築を可能にする新しいテンプレート言語。
• キャリブレーションオプションを備えた手動・自動バリアントを含む Verbalizers。
• タスク固有のヘッドを用いずに、PLM全体の訓練/推論を抽象化する PromptModel。
• パラメータ効率性のための、ジョイントプロンプト+PLMチューニングとプロンプトのみのチューニングの訓練モード。

実験結果

リサーチクエスチョン

• RQ1 さまざまな PLMs と prompting 戦略をサポートする、モジュール式で再利用可能なフレームワークへ、プロンプト学習を標準化するには？
• RQ2 OpenPrompt は、手動/ソフトテンプレート、さまざまな Verbalizers を統一して、NLP タスク間の公正な比較を可能にできるか？
• RQ3 少データ領域や大規模 PLM で効果的なプロンプト学習を生み出すテンプレート、Verbalizers、訓練方法は何か？
• RQ4 分類、生成、知識検証などのタスクに対する迅速な展開、実験、評価を、どのようにフレームワークは促進するか。

主な発見

• OpenPrompt は、PLM、タスク形式、プロンプトモジュールの柔軟な組み合わせを可能にするモジュール式・組み合わせ可能なフレームワークを提供します。
• このフレームワークは MLM、LM、Seq2Seq PLMs をサポートし、統一インターフェースを介して損失計算を自動的に処理します。
• テンプレート言語とトークナイゼーションモジュールにより、プロンプト構築が簡素化され、テンプレート/トークン化のエラーを低減します。
• Verbalizers はラベルと語彙語への手動/自動マッピングを可能にし、キャリブレーション機能も実装されています。
• PromptModel は、各 PLM ごとにタスク固有のヘッドを書くことなく、訓練と推論を可能にします。
• OpenPrompt には、さまざまな NLP タスクでベースラインを再現するためのデータ処理器と訓練ユーティリティが含まれています。