[論文レビュー] AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts

Taylor Shin, Yasaman Razeghi+3 more|arXiv (Cornell University)|Oct 29, 2020

Topic Modeling参考文献 26被引用数 66

ひとこと要約

AutoPrompt は事前学習済みマスクされた言語モデルから知識を引き出すプロンプトを自動的に生成し、ゼロショット/少数ショットのタスクをファインチューニング済みモデルと競合させ、いくつかの知識タスクで手動プロンプトを上回る。

ABSTRACT

The remarkable success of pretrained language models has motivated the study of what kinds of knowledge these models learn during pretraining. Reformulating tasks as fill-in-the-blanks problems (e.g., cloze tests) is a natural approach for gauging such knowledge, however, its usage is limited by the manual effort and guesswork required to write suitable prompts. To address this, we develop AutoPrompt, an automated method to create prompts for a diverse set of tasks, based on a gradient-guided search. Using AutoPrompt, we show that masked language models (MLMs) have an inherent capability to perform sentiment analysis and natural language inference without additional parameters or finetuning, sometimes achieving performance on par with recent state-of-the-art supervised models. We also show that our prompts elicit more accurate factual knowledge from MLMs than the manually created prompts on the LAMA benchmark, and that MLMs can be used as relation extractors more effectively than supervised relation extraction models. These results demonstrate that automatically generated prompts are a viable parameter-free alternative to existing probing methods, and as pretrained LMs become more sophisticated and capable, potentially a replacement for finetuning.

研究の動機と目的

• 事前学習中に事前学習済み言語モデルが獲得する知識について調査する（言語的、事実、常識、タスク特有の知識）。
• 手動のプロンプト作成を必要とせず、広範なタスクに対してプロンプトを自動生成する方法を開発する。
• 勾配ガイド付きプロンプトがファインチューニングなしで感情分析と自然言語推論において強力な性能を示すことを示す。

提案手法

• 入力プロンプト、トリガー・トークン、[MASK] トークンを組み込んだテンプレートを用いてタスクを空欄補充問題として表現する。
• 勾配ガイド付き探索を用いて、バッチ全体でラベル尤度を最大化するトリガー・トークンを学習する（論文の式 2）。
• ラベルが語彙トークンに対応する場合、ラベル・トークンを周辺化してクラス確率を得る（式 1）。
• 出力埋め込みと整合性で候補ラベル・トークンをスコアリングする [MASK] 埋め込み上でロジスティック分類器を訓練してラベル・トークン選択を自動化する（式 3–5）。
• 事前学習済み MLM（BERT base、RoBERTa large）上で、タスク（感情分析、NLI、事実検索、関係抽出）に対してファインチューニングなしでプロンプトを評価する。手動プロンプトやファインチューニング済みベースラインと比較。
• HuggingFace モデルのプロンプトを生成する公開実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 自動生成されたプロンプトはファインチューニングなしで事前学習済みの MLM にタスク知識を明らかにできるか？
• RQ2 勾配ガイド付きプロンプトは感情分析、NLI、知識検索タスクの手動で作成されたプロンプトを上回るか？
• RQ3 低データ設定における AutoPrompt プロンプトはファインチューニングとどう比較されるか？
• RQ4 AutoPrompt によって促された MLM はどの程度、文章から事実的および関係的知識を抽出できるか？

主な発見

• AutoPrompt は MLM がファインチューニングなしで感情分析とNLIを実行できるようにし、時には最先端の教師ありモデルと同等になる。
• AutoPrompt が発見したプロンプトは LAMA における事実知識を、手動で作成されたプロンプトよりより正確に引き出す（本文にP@1の改善が記載されている）。
• AutoPrompt によって促された MLM は特定条件下で教師ありの関係抽出モデルを上回ることがあり、文脈の信頼性に敏感である。
• 低データ設定では、NLI において AutoPrompt がファインチューニングを上回り、RoBERTa の平均精度と安定性を一部で高めるが、感情分析では時にファインチューニングに劣る。
• AutoPrompt はタスク特化のファインチューニングと複数のタスク特化チェックポイントの保管の必要性を減らし、1つの事前学習済みモデルでプロンプトを介して多くのタスクを扱えるようにする。