[論文レビュー] Quantifying the Persona Effect in LLM Simulations

Tiancheng Hu, Nigel Collier|arXiv (Cornell University)|Feb 16, 2024

Human-Automation Interaction and SafetyPsychology被引用数 3

ひとこと要約

本研究は、人間のアノテーションにおける主観的NLPタスクにおける、人口統計的要因、態度、経験といったペルソナ変数の影響を定量的に評価し、LLMベースのシミュレーションにおけるペルソナプロンプティングの有効性を検証する。その結果、ほとんどのデータセットにおいてペルソナ変数は分散の10%未満を説明しており、ペルソナプロンプティングの有効性は限定的である。分散の説明割合が高い場合にのみやや良い予測性能が得られ、ペルソナの有効性が低い場合には性能が著しく劣る。

ABSTRACT

Large language models (LLMs) have shown remarkable promise in simulating human language and behavior. This study investigates how integrating persona variables-demographic, social, and behavioral factors-impacts LLMs' ability to simulate diverse perspectives. We find that persona variables account for <10% variance in annotations in existing subjective NLP datasets. Nonetheless, incorporating persona variables via prompting in LLMs provides modest but statistically significant improvements. Persona prompting is most effective in samples where many annotators disagree, but their disagreements are relatively minor. Notably, we find a linear relationship in our setting: the stronger the correlation between persona variables and human annotations, the more accurate the LLM predictions are using persona prompting. In a zero-shot setting, a powerful 70b model with persona prompting captures 81% of the annotation variance achievable by linear regression trained on ground truth annotations. However, for most subjective NLP datasets, where persona variables have limited explanatory power, the benefits of persona prompting are limited.

研究の動機と目的

• 主観的NLPタスクにおける人間のアノテーションの分散に、ペルソナ変数がどの程度寄与するかを評価すること。
• プロンプティングによるペルソナの組み込みが、LLMが主観的NLPアノテーションにおける多様な視点をシミュレートする能力を向上させるかどうかを評価すること。
• ペルソナプロンプティングが最も効果を発揮するデータサンプルの種類を特定すること。
• ペルソナ変数の説明力とLLMのペルソナシミュレーション性能向上の間の線形関係を検討すること。
• データセット設計および人間の視点をシミュレートする際のLLMの使用にあたっての推奨事項を提示すること。

提案手法

• 4つの主観的NLPデータセットにおいて、ペルソナ変数が人間のアノテーションの分散に占める割合を決定係数（R²）統計量を用いて測定した。
• LLM推論の前に、デモグラフィック要因や態度などのペルソナ記述をプロンプトに追加することで、ペルソナプロンプティングを実装した。
• モデルの予測と人間のアノテーションとの間の相関係数および決定係数（R²）を用いて、LLMのパフォーマンスを評価した。
• テキストのランダム性を固定し、ペルソナの有効性を変化させた制御実験を実施し、シミュレーション能力を隔離して評価した。
• 大規模でインstructチューニングされたLLM（例：Llama 3, Mixtral）を用いて、異なるモデルスケールにおけるパフォーマンスを評価した。
• プロンプトの表現方法やペルソナの順序に影響を及げないよう、結果の一貫性を保証するためのレジリエンスチェックを実施した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ペルソナ変数は、人間のアノテーションの分散のどの程度を説明できるか？
• RQ2 RQ2: プロンプティングによるペルソナ変数の組み込みが、LLMの予測性能を向上させられるか？
• RQ3 RQ3: どのような種類のサンプルに対してペルソナプロンプティングが最も有効か？
• RQ4 RQ4: ペルソナの有効性が変化する状況で、テキストのランダム性を制御した場合、LLMはどの程度ペルソナをシミュレートできるか？

主な発見

• ほとんどの主観的NLPデータセットにおいて、ペルソナ変数は人間のアノテーションの分散の10%未満を説明している。
• ペルソナプロンプティングによるLLMのパフォーマンス向上は限定的であり、ペルソナ変数がアノテーション分散の有意義な割合を説明している場合にのみ顕著に現れる。
• ペルソナプロンプティングによるLLM予測の最も顕著な改善は、アノテーター間の合意が狭い範囲に限定されるサンプルで観察された。
• ペルソナ変数が説明する分散の割合とLLM予測の向上の間には線形関係が存在する。
• 大規模でファインチューニングされたLLMは、ペルソナの有効性が高い場合、人間の反応の分散の最大81%を説明できるが、R² < 0.1の場合は性能がほぼゼロにまで低下する。
• 現在のNLP研究において、大多数の既存データセットはペルソナ有効性が低いカテゴリー（R² < 0.1）に属しており、ペルソナプロンプティングの実用的有効性は制限されている。