[論文レビュー] Self-Prompting Large Language Models for Zero-Shot Open-Domain QA

Junlong Li, Wang, Jinyuan+2 more|arXiv (Cornell University)|Dec 16, 2022

Topic Modeling被引用数 13

ひとこと要約

本稿では、自己プロンプト化（Self-Prompting）というフレームワークを提案する。このフレームワークは、大規模言語モデル（LLMs）を活用して、ゼロショットオープンドメイン質問応答におけるコンテキスト内学習のための高品質な疑似QAデータセット（本文と説明を含む）を自律的に生成する。繰り返しプロンプトを用いてLLMsが構造化されたQA三元組を生成し、クラスタリングに基づく検索手法を用いて多様で顕著な例を抽出することで、WebQ、NQ、TriviaQAで最先端の性能を達成した。微調整用の訓練データを一切使用せず、外部コーパスを用いずに、微調整済みのリトリーバ・リーダーモデルと同等かそれ以上の性能を発揮した。

ABSTRACT

Open-Domain Question Answering (ODQA) aims to answer questions without explicitly providing specific background documents. This task becomes notably challenging in a zero-shot setting where no data is available to train tailored retrieval-reader models. While recent Large Language Models (LLMs) like GPT-3 have demonstrated their effectiveness in zero-shot ODQA using direct prompting methods, these methods still fall short of fully harnessing the potential of LLMs when implicitly invoked. In this paper, we propose a Self-Prompting framework to explicitly utilize the massive knowledge encoded in the parameters of LLMs and their strong instruction understanding abilities. Concretely, we prompt LLMs step by step to generate multiple pseudo QA pairs with background passages and explanations entirely from scratch. These generated elements are then utilized for in-context learning. Experimental results show that our method significantly surpasses previous state-of-the-art zero-shot methods on three widely-used ODQA datasets and even achieves comparable performance with various customized fine-tuned models on full training data. Our code is available at https://github.com/lockon-n/self-prompting.

研究の動機と目的

• 訓練データや外部知識コーパスが利用できないゼロショットオープンドメイン質問応答（ODQA）の課題に対処すること。
• 単なる直接的プロンプト化を越えて、LLMsの知識および指示従い能力を明示的に活用すること。
• コンテキスト内学習のための本文と説明を含む疑似QAデータセットを生成することで、ゼロショットODQAの性能を向上させること。
• 推論用に、生成された疑似データセットから高品質で多様な例を選択する有効な手法を開発すること。
• コンテキスト内学習において、LLMsが生成したデータが手動でアノテートされた訓練データと同等の性能を発揮するかどうかを評価すること。

提案手法

• 本手法は準備段階と推論段階の2段階から構成される。
• 準備段階では、LLMに段階的にプロンプトを提示し、ウィキペディア風の本文を生成し、名前付きエンティティを抽出して答えとし、質問を策定し、各QAペアに対して要約的な説明を記述する。
• 生成された疑似データセットには、関連する本文と説明を備えた構造化されたQAペアが含まれており、高品質な合成訓練データセットを形成する。
• 推論段階では、疑似データセットから意味的に類似した多様な例をクラスタリングに基づく検索手法で選択する。
• 選択されたQAペアに加え、その本文と説明を、特定のフォーマット（例：QAE: 質問、答え、説明）に従ってテスト質問と連結し、LLMへの最終入力として構成する。
• 最終的な答えは、コンテキスト内での例示に基づいてLLMが生成するため、微調整を一切行わず、ゼロショット推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、ゼロショットODQAのための支援本文と説明を含む、高品質で事実に整合したQA三元組を自律的に生成できるか？
• RQ2 自己生成された疑似データセットをコンテキスト内学習に用いることで、直接的プロンプト化や従来のSOTAゼロショット手法を上回る性能が得られるか？
• RQ3 生成された疑似データセットから多様で関連性の高い例を選択するためのクラスタリングベースの検索戦略は、どの程度有効か？
• RQ4 LLMsが生成したデータの性能は、同じ数の例を用いた手動アノテート訓練データの性能と同等になるか？
• RQ5 異なるプロンプトフォーマット（例：QA対比 QAE）は、最終的な正答率にどのように影響するか？

主な発見

• Self-Promptingは、WebQ、NQ、TriviaQAベンチマークにおいて、GENREADを含む従来のSOTAゼロショットODQA手法を顕著に上回った。
• 訓練データを一切使用しなかったにもかかわらず、完全な訓練データで微調整されたリトリーバ・リーダーモデルと同等の性能を達成した。
• 同じ数の例を用いた手動アノテート訓練データと比較して、EM/F1スコアが1ポイント以内の差にとどまり、データ生成の高品質さを示している。
• QAEフォーマット（質問、答え、説明）は、QAフォーマットよりも一貫して性能を向上させ、とくに例が少ない場合に顕著であった。
• InstructGPTやCodexは、Alpaca や GPT-NeoX よりも大規模なモデルであるにもかかわらず、事実誤認の少ない高品質なデータを生成した。これは、モデル規模と指示従い能力の影響を示している。
• クラスタリングベースの検索手法は、多様で意味的に関連性の高い例を効果的に選択でき、テストサンプル全体にわたる汎化性と耐性を向上させた。