[論文レビュー] Prompt Design Matters for Computational Social Science Tasks but in Unpredictable Ways

Shubham Atreja, Joshua Ashkinaze+3 more|arXiv (Cornell University)|Jun 17, 2024

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本研究では、プロンプト設計が計算的社会科学タスクにおける大規模言語モデル（LLM）の準拠性と正確性に与える影響を調査する。4つのプロンプト特徴（定義の含む有無、出力形式、説明の要求、長さ）を、3つのLLM（ChatGPT、PaLM2、Falcon7b）に対して4つのタスク（毒性、センチメント、ウソ情報の立場、ニュースフレーム）でテストした。結果として、プロンプト設計は、タスクやモデルに依存して予測不能な方法で準拠性と正確性に顕著な影響を与えることが明らかになった。数値スコアの採用は性能を低下させ、説明の要求はラベル分布を変化させた。

ABSTRACT

Manually annotating data for computational social science tasks can be costly, time-consuming, and emotionally draining. While recent work suggests that LLMs can perform such annotation tasks in zero-shot settings, little is known about how prompt design impacts LLMs' compliance and accuracy. We conduct a large-scale multi-prompt experiment to test how model selection (ChatGPT, PaLM2, and Falcon7b) and prompt design features (definition inclusion, output type, explanation, and prompt length) impact the compliance and accuracy of LLM-generated annotations on four CSS tasks (toxicity, sentiment, rumor stance, and news frames). Our results show that LLM compliance and accuracy are highly prompt-dependent. For instance, prompting for numerical scores instead of labels reduces all LLMs' compliance and accuracy. The overall best prompting setup is task-dependent, and minor prompt changes can cause large changes in the distribution of generated labels. By showing that prompt design significantly impacts the quality and distribution of LLM-generated annotations, this work serves as both a warning and practical guide for researchers and practitioners.

研究の動機と目的

• プロンプト設計の特徴が、計算的社会科学のアノテーションタスクにおけるLLMの準拠性と正確性に与える影響を調査すること。
• 多様なLLMとタスクにおいて、プロンプト効果に関する体系的で大規模な実証的証拠の不足を是正すること。
• 要約的で定義を含む、または説明を求めるプロンプトがパフォーマンスを向上または低下させるかどうかを検討すること。
• 微細なプロンプトの変更が、アノテーション分布の不一致を引き起こすリスクを強調し、それが社会科学研究にバイアスをもたらす可能性を指摘すること。
• ゼロショットアノテーションタスクでLLMを用いる研究者に、根拠に基づいたベストプラクティスを提供すること。

提案手法

• 4つのプロンプト次元（定義の含む有無、出力形式（ラベル対スコア）、説明の要求、プロンプト長（標準対要約））を2×2×2×2の完全要因実験として、全16通りのプロンプトバリエーションを大規模に実施した。
• これらのプロンプトを、計算的社会科学タスク（毒性、センチメント、ウソ情報の立場、ニュースフレーム検出）の4つに対して、3つのLLM（ChatGPT、PaLM2、Falcon7b）に適用した。
• すべてのタスク・モデル・プロンプトの組み合わせにおいて、合計362,928件のLLM生成アノテーションを含む統合データセットを構築した。
• プロンプト指示への準拠度（compliance）と、人間アノテーションのゴールドスタンダードとの一致度（正確性）を測定した。
• 特に説明の要求や数値スコアの採用がもたらすラベル分布の変化を分析した。
• 準拠度のばらつき（例：Falcon7bがウソ情報の立場タスクで最大55％）や正確性のばらつき（例：ChatGPTがニュースフレームタスクで最大14％）といった定量的結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 プロンプトに定義を含めることで、異なる計算的社会科学タスクにおけるLLMの準拠性と正確性にどのような影響を与えるか？
• RQ2 ラベルではなく数値スコアを要求することのLLMの準拠性と正確性への影響は何か？
• RQ3 要約的プロンプトと標準長プロンプトを比較した場合、モデルやタスクごとに準拠性と正確性にどのような差が生じるか？
• RQ4 推論の説明を要求することで、ラベル分布と準拠率にどの程度の変化が生じるか？
• RQ5 プロンプト設計の特徴の効果は、異なるLLM（例：ChatGPT、PaLM2、Falcon7b）とタスクでどのように変動するか？

主な発見

• ラベルではなく数値スコアを要求するプロンプトは、すべてのLLMとほとんどのタスクで準拠性と正確性を著しく低下させた。
• 定義を含めることで、ChatGPTの正確性は向上したが準拠度に影響を与えなかった。一方、PaLM2とFalcon7bでは準拠度が低下した。
• 要約的プロンプトは、Falcon7bのウソ情報の立場タスクではコスト効率を向上させたが、他のほとんどの状況ではパフォーマンスを損なった。
• 説明の要求は準拠度を向上させたが、ラベル分布を変化させた。例として、ChatGPTは説明を要求された場合、34％のコンテンツを「ニュートラル」と分類した。
• 最良のパフォーマンスを示したプロンプト構成は、タスクやモデルに強く依存しており、わずかな変更でも出力分布に大きなシフトが生じた。
• Falcon7bがウソ情報の立場タスクでプロンプトごとに準拠度が最大55％変動し、ChatGPTがニュースフレームタスクで正確性が最大14％変動した。これは、プロンプト効果の予測不能さを強調している。