[論文レビュー] A Survey on Prompting Techniques in LLMs

Prabin Bhandari|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用数 2

ひとこと要約

この論文は、自己回帰的大型言語モデル（LLM）におけるプロンプティング技術について包括的なサーベイを提供し、既存の手法を体系的な分類に分類し、構造化されたデータの取り扱い、回答の設計、プロンプトインジェクションといった主な課題を特定している。プロンプティングは微調整なしにゼロショットまたはフェイントショット推論を効果的に行えるが、耐性、一般化、安全性の面で顕著な未解決問題が残っている。

ABSTRACT

Autoregressive Large Language Models have transformed the landscape of Natural Language Processing. Pre-train and prompt paradigm has replaced the conventional approach of pre-training and fine-tuning for many downstream NLP tasks. This shift has been possible largely due to LLMs and innovative prompting techniques. LLMs have shown great promise for a variety of downstream tasks owing to their vast parameters and huge datasets that they are pre-trained on. However, in order to fully realize their potential, their outputs must be guided towards the desired outcomes. Prompting, in which a specific input or instruction is provided to guide the LLMs toward the intended output, has become a tool for achieving this goal. In this paper, we discuss the various prompting techniques that have been applied to fully harness the power of LLMs. We present a taxonomy of existing literature on prompting techniques and provide a concise survey based on this taxonomy. Further, we identify some open problems in the realm of prompting in autoregressive LLMs which could serve as a direction for future research.

研究の動機と目的

• 自己回帰的LLM向けのプロンプティング技術の体系的分類を提供すること。
• 構造的・組織的な方法で、プロンプティング手法に関する既存の文献をサーベイすること。
• プロンプティングにおける未解決問題を特定すること、特に構造化された入力の取り扱い、回答抽出の改善、プロンプトインジェクション攻撃の緩和を含む。
• LLM向けのプロンプティングにおける主な課題と将来の研究の方向性を提示することで、今後の研究を導くこと。

提案手法

• 論文は、入力形式、指示スタイル、タスクタイプに基づいて、プロンプティング技術の分類を構築している。
• ゼロショット、フェイントショット、チェーン・オブ・トゥキャスト、プレフィックスチューニングなどのカテゴリにわたり、既存のプロンプティング手法をサーベイしている。
• 分析は、微調整なしに自己回帰的LLMを望ましい出力へ誘導するプロンプトの働きに焦点を当てる。
• 分類、生成、推論などの下流NLPタスクにおけるプロンプティング技術の有効性を評価している。
• テーブル、グラフなどの構造化されたデータをプロンプティングで取り扱う最近の進展を検討しており、GraphPrompt やテーブル・トゥ・テキスト・プロンプティングなどの手法を含む。
• プロンプトインジェクション攻撃を検出するために補助モデルの使用を議論し、LLMベースの検出器を用いた防御戦略を提案している。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的LLMにおける機能的・構造的な違いを反映するように、プロンプティング技術を体系的に分類する方法は何か？
• RQ2 テーブル、グラフ、ツリーなどの構造化された入力の取り扱いにおいて、現在のプロンプティング手法の主な制限は何か？
• RQ3 LLMが冗長または曖昧な出力を生成する場合、その回答の信頼性と正確性をどのように向上できるか？
• RQ4 プロンプトインジェクション攻撃は、展開済みのLLMにおけるセーフティメカニズムをどれほど効果的に回避できるか？
• RQ5 耐性、一般化、安全性の向上を図るため、将来のプロンプティング研究において最も有望な方向性は何か？

主な発見

• プロンプティングは、微調整に取って代わるLLMの下流タスクへの展開の主流となった。これにより、最小限または完全に再トレーニングなしにゼロショットまたはフェイントショット推論が可能になった。
• LLMに現れる新生能力（例：コンテキスト内学習）はスケーリングに起因し、モデルの更新なしに体系的なプロンプティングによって効果的に解き放たれる。
• 現在のプロンプティング手法は構造化されたデータの取り扱いに苦慮している。GraphPrompt などの一部のアプローチは存在するが、しばしば事前学習を要し、実用性に制限がある。
• 回答の設計は依然として主要な課題であり、LLMはしばしば正確でない、または曖昧な出力を生成する。これには、正規表現や同義語マッチングなどのタスク固有の後処理が必要となる。
• プロンプトインジェクション攻撃は、巧妙なプロンプト工学によってセーフティメカニズムを回避できることを示しており、現在の防御策は脆く、より強力で適応的な解決策を必要としている。
• 多様な入力形式に対応でき、回答の信頼性を向上させ、悪意のある操作から抵抗できる汎用的で耐性のあるプロンプティングフレームワークの構築が、今後急務であると同定されている。