[論文レビュー] Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts

Joel Jang, Seonghyeon Ye+1 more|arXiv (Cornell University)|Sep 26, 2022

Topic Modeling被引用数 32

ひとこと要約

この論文は、大規模言語モデルが否定的なプロンプトに対して性能を低下させることを示しており、反転スケーリングの法則と否定の理解における人間の性能との差が大きいことを明らかにしている。

ABSTRACT

Previous work has shown that there exists a scaling law between the size of Language Models (LMs) and their zero-shot performance on different downstream NLP tasks. In this work, we show that this phenomenon does not hold when evaluating large LMs on tasks with negated prompts, but instead shows an inverse scaling law. We evaluate 9 different tasks with negated prompts on (1) pretrained LMs (OPT & GPT-3) of varying sizes (125M - 175B), (2) LMs further pretrained to generalize to novel prompts (InstructGPT), (3) LMs provided with few-shot examples, and (4) LMs fine-tuned specifically on negated prompts; all LM types perform worse on negated prompts as they scale and show a huge performance gap between the human performance when comparing the average score on both original and negated prompts. By highlighting a critical limitation of existing LMs and methods, we urge the community to develop new approaches of developing LMs that actually follow the given instructions. We provide the code and the datasets to explore negated prompts at https://github.com/joeljang/negated-prompts-for-llms

研究の動機と目的

• LMのサイズがプロンプトの否定の理解に及ぼす影響を評価する。
• 指示に従う適応（InstructGPT、T0）が否定の問題を緩和するかどうかを評価する。
• 否定プロンプトに対する潜在的解決策として、文脈内学習（ICL）とファインチューニング（FT）を検証する。
• LMの否定プロンプトに対する性能を人間の性能と比較してギャップを定量化する。

提案手法

• 常識推論、文の完成、QAを含む9つのデータセットを、原文プロンプトと否定プロンプトの組み合わせで構築（各データセット300例）。
• 125Mから175Bまでのサイズの事前学習済みLM（OPT、GPT-3）を評価。
• 指示に従う適応（T0、InstructGPT）、OPTを用いた文脈内学習（ICL）、否定プロンプトでのファインチューニング（FT）を検討。
• 比較のため、13歳の参加者を用いた3つのタスクで人間評価を実施。
• 否定プロンプトのデータとコードを公開して提供・分析する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトの否定理解はLMサイズによって改善される（スケーリング挙動がある）か。
• RQ2 指示に従うモデルはベースのLMを超えて否定理解を向上させるか。
• RQ3 ICLまたはFTは、元のタスク性能を過度に損なうことなく否定理解の問題を緩和できるか。
• RQ4 同じプロンプトに対するLMの否定理解は人間の性能と比較してどうか。

主な発見

• サイズのスケールアップは反転スケーリングを生み出す: より大きなLMはすべてのタスクで否定プロンプトの性能が悪化する。
• 指示に従う適応でさえ否定理解の問題を完全には解決せず、改善はあるものの否定を解決できていない。
• ICLは一部の状況で有効だが、FTは否定理解を改善する一方で元のタスク性能を低下させるゼロサム効果を引き起こす。
• 否定プロンプトに対するLMと人間の性能には大きなギャップがあり、総合比較で約31.3%のギャップが存在する。