[論文レビュー] Stable Personas: Dual-Assessment of Temporal Stability in LLM-Based Human Simulation

Jana Gonnermann-Müller, Jennifer Haase+3 more|arXiv (Cornell University)|Jan 30, 2026

Persona Design and Applications被引用数 0

ひとこと要約

この論文は、LLM が生成するペルソナの時間的安定性を検証するデュアル評価フレームワークを提案し、長時間の会話において自己報告は安定している一方で、観察者が表現するペルソナ強度は低下することを、7つのモデルと3つのプロンプトを跨いで示しています。

ABSTRACT

Large Language Models (LLMs) acting as artificial agents offer the potential for scalable behavioral research, yet their validity depends on whether LLMs can maintain stable personas across extended conversations. We address this point using a dual-assessment framework measuring both self-reported characteristics and observer-rated persona expression. Across two experiments testing four persona conditions (default, high, moderate, and low ADHD presentations), seven LLMs, and three semantically equivalent persona prompts, we examine between-conversation stability (3,473 conversations) and within-conversation stability (1,370 conversations and 18 turns). Self-reports remain highly stable both between and within conversations. However, observer ratings reveal a tendency for persona expressions to decline during extended conversations. These findings suggest that persona-instructed LLMs produce stable, persona-aligned self-reports, an important prerequisite for behavioral research, while identifying this regression tendency as a boundary condition for multi-agent social simulation.

研究の動機と目的

• LLMベースの社会シミュレーションにおける安定したペルソナの必要性を動機づけ、信頼性の高い行動研究を促進する。
• 自己報告と観察者評価を組み合わせたデュアル評価フレームワークを導入し、単一ソースには見えない安定性のギャップを検出する。
• ペルソナをADHDプロファイルで運用化し、モデルタイプとプロンプトスタイルを跨ぐ安定性を検証する。
• 複数モデルとプロンプトを跨ぐ会話間および会話内の安定性を定量化し、分散を分解する。

提案手法

• 2つの実験：実験Iは条件ごとに50回の実行あたり3,473回の会話を跨いだ会話間の安定性を評価。
• 実験IIは条件間の会話内の安定性を、18ターン・1,370回の会話とターン6・12・18での評価で検証。
• 7つのLLMと3つの意味的に同等なプロンプトを用いて4つのペルソナ強度（高・中・低・デフォルト）を作成。
• ADHD症状の強度はCAARS 12項目 ADHD指標（0–36）を一次アウトカムとして測定。
• 3人の独立したLLM評価者が観察者表現を評価して観察者報告スコアを形成。
• 線形混合効果モデルにより、ペルソナ・モデル・プロンプト・会話・ターンごとに分散を分割し、安定性を評価する。

Figure 1: Procedure for Experiments I and II (combined presentation).

実験結果

リサーチクエスチョン

• RQ1 LLMは独立した会話間で割り当てられたペルソナ強度をどれだけ安定して維持するか？
• RQ2 自己報告と観察者報告の評価によって、長時間の会話内でペルソナ表現はどれだけ安定しているか？
• RQ3 モデル選択とプロンプト設計は、条件間でのペルソナの安定性と表現に実質的な影響を及ぼすか？
• RQ4 安定性の分散分解（ペルソナ・モデル・ prompting要因）とはどのようになるか？

主な発見

Source	Self-Report	Observer
Persona	92.30%	89.50%
Model	0.30%	2.60%
Prompt	0.50%	0.60%
Residual	6.80%	7.20%

• 自己報告されたペルソナ特性は、モデルとプロンプトを跨いだ会話間・会話内で高い安定性を示す。
• 高強度および中強度のペルソナについて、観察者評価によるペルソナ表現は長時間の会話で低下する。
• 会話間の分散は主にペルソナ割当（約90％以上）によって支配され、モデルやプロンプト設計の影響は最小限。
• 会話内の分析では自己報告にはターン関連のほぼゼロの分散しか見られないが、観察者評価にはターン関連の分散があり、ターンごとの減衰を示唆。
• モデル差は絶対的な表現レベルを変えるが、ペルソナ強度間の安定した差を覆すことはない。
• プロンプト設計は自己報告には最小限の影響だが、観察者評価の減衰量には影響を及ぼす可能性がある。
• 実験を通じて、7モデルと3つのプロンプトは自己報告の安定性と、観察者表現の低下現象を一般化する。

Figure 2: Self-report ADHD Index across 50 runs by persona intensity (high=red, moderate=yellow, low=green, default=grey).