[論文レビュー] Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

Pengfei Liu, Weizhe Yuan+4 more|arXiv (Cornell University)|Jul 28, 2021

Topic Modeling被引用数 513

ひとこと要約

promptingベースの学習をNLPに組織化した包括的な調査で、 promptingの基礎、モデルファミリ、設計戦略、訓練アプローチ、応用、課題、メタ分析を詳述し、初心者を支援するリソースを提供します。

ABSTRACT

This paper surveys and organizes research works in a new paradigm in natural language processing, which we dub "prompt-based learning". Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform prediction tasks, the original input x is modified using a template into a textual string prompt x' that has some unfilled slots, and then the language model is used to probabilistically fill the unfilled information to obtain a final string x, from which the final output y can be derived. This framework is powerful and attractive for a number of reasons: it allows the language model to be pre-trained on massive amounts of raw text, and by defining a new prompting function the model is able to perform few-shot or even zero-shot learning, adapting to new scenarios with few or no labeled data. In this paper we introduce the basics of this promising paradigm, describe a unified set of mathematical notations that can cover a wide variety of existing work, and organize existing work along several dimensions, e.g.the choice of pre-trained models, prompts, and tuning strategies. To make the field more accessible to interested beginners, we not only make a systematic review of existing works and a highly structured typology of prompt-based concepts, but also release other resources, e.g., a website http://pretrain.nlpedia.ai/ including constantly-updated survey, and paperlist.

研究の動機と目的

• 従来の監視付き学習からの転換としての promptingベース学習パラダイムを導入する。
• 多様な研究を包括する統一的な prompting の概念と表記を形式的に提供する。
• 事前学習済みモデル、 prompts、 tuning戦略といった次元で既存の研究を整理する。
• 訓練戦略、応用、 prompt に関連する課題を調査して将来の研究を導く。
• 初心者が prompt-based NLP 研究に入るのを支援するためのキュレーションされたリソースと構造化された typology を提供する。

提案手法

• prompting を三段階プロセスとして formal に記述する：promptの追加、解答探索、解答マッピング。
• clo ze と prefix prompt を包含する unified notation を定義し、Z値解答空間を取り入れる。
• prompting 手法を prompt shape（cloze vs. prefix）、手動 vs. 自動 prompting 学習、離散 vs. 連続 prompts で分類する。
• 訓練目的、ノイズ付与、方向性の観点から pre-trained language model ファミリを評価して prompting への適合性を検討する。
• 設計上の考慮事項（prompt設計、解答設計、マルチプロンプト学習）と訓練戦略（ promptなし微調整、 tuningフリー prompting、 prompt/LM tuning）を体系的に見直す。
• 広範な応用領域（分類、情報抽出、QA、生成、マルチモーダル）を要約し、それを prompting の選択と結びつける。
• メタ分析的な洞察と時系列を提供し、分野全体の傾向と転移性を強調する。
• 初心者が入門するための NLPedia–Pretrain や関連 typology といったリソースを提供する。

実験結果

リサーチクエスチョン

• RQ1 prompting ベースの NLP 手法を統一する中核的な概念と数理形式は何か。
• RQ2 prompting 戦略はタスクを横断して異なる事前学習言語モデルと目的にどのように影響を及ぼすか。
• RQ3 prompting の性能に影響を与える主な設計選択肢（prompt、解答空間、訓練戦略）は何か。
• RQ4 現在の prompting ベース NLP の応用、課題、研究方向は何か。
• RQ5 prompting パラダイムへ参入する研究者や初心者を支援するリソースには何があるか。

主な発見

• prompting ベースの学習は、事前学習済み言語モデルを用いたタスクを prompting 問題へ再定式化することで few-shot または zero-shot 適応を実現する。
• prompting を支える二つの主要な変化： (i) 巨大な無監督事前学習の活用、(ii) 下流タスクを prompts を介して再定式化し、タスク特有の監視なしでモデル挙動を誘導する。
• prompts は cloze 形または prefix 形であり、手動または自動的に学習される（離散 vs. 連続 prompts）。
• 異なる pre-trained LM ファミリ（左から右、マスク化、prefix/encoder-decoder）は異なる prompt デザインと下流タスクに適合する。
• マルチプロンプトとプロンプト組成技術は、タスク間のロバスト性とカバー範囲をさらに高める。
• 調査は訓練戦略（promptなし微調整、 tuningフリー prompting、 prompt/LM tuning）を概説し、 prompting 手法と広範な NLP タスクおよび評価課題を結びつける。