[論文レビュー] Using Large Language Models to Create AI Personas for Replication, Generalization and Prediction of Media Effects: An Empirical Test of 133 Published Experimental Research Findings

Leo Yeykelis, Kaavya Pichai+2 more|arXiv (Cornell University)|Aug 28, 2024

Persona Design and Applications被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLMs）をAIペルソナとして用い、マーケティング研究におけるメディア効果の再現性、一般化、予測を検証する。14本のJournal of Marketing論文から得られた133件の実験的発見に基づき、19,447名のAI参加者を生成したところ、主効果の76％（111件中84件）を再現し、すべての効果の68％（133件中90件）を再現した。これは、理論構築の加速とメディア・マーケティング心理学会における再現性向上の強力な可能性を示している。

ABSTRACT

This report analyzes the potential for large language models (LLMs) to expedite accurate replication and generalization of published research about message effects in marketing. LLM-powered participants (personas) were tested by replicating 133 experimental findings from 14 papers containing 45 recent studies published in the Journal of Marketing. For each study, the measures, stimuli, and sampling specifications were used to generate prompts for LLMs to act as unique personas. The AI personas, 19,447 in total across all of the studies, generated complete datasets and statistical analyses were then compared with the original human study results. The LLM replications successfully reproduced 76% of the original main effects (84 out of 111), demonstrating strong potential for AI-assisted replication. The overall replication rate including interaction effects was 68% (90 out of 133). Furthermore, a test of how human results generalized to different participant samples, media stimuli, and measures showed that replication results can change when tests go beyond the parameters of the original human studies. Implications are discussed for the replication and generalizability crises in social science, the acceleration of theory building in media and marketing psychology, and the practical advantages of rapid message testing for consumer products. Limitations of AI replications are addressed with respect to complex interaction effects, biases in AI models, and establishing benchmarks for AI metrics in marketing research.

研究の動機と目的

• 社会科学における再現性と一般化の危機に対処するため、LLMsを仮想参加者として用いて検証する。
• 迅速かつスケーラブルなメッセージテストを通じて、メディアおよびマーケティング心理学会における理論構築を加速する。
• 多様な刺激および測定法を用いた文脈において、LLMsが生成したデータの正確性が発表済みの実験的発見を再現できるかを評価する。
• 複雑な交互作用効果の再現におけるLLMsの限界およびモデルバイアスの影響を評価する。
• 将来的な方法論的イノベーションを支援するため、マーケティング研究におけるAIメトリクスのベンチマークを確立する。

提案手法

• Journal of Marketingに掲載された14本の論文から、測定法、刺激、サンプリング仕様などの研究パラメータを抽出した。
• プロンプト工学を用いて、多様な参加者プロファイルを模倣する独自のLLMペルソナを生成した。
• LLMsに、実参加者としての反応を模倣して刺激に回答させることで、完全なデータセットを生成した。
• AIが生成したデータに対して統計解析を実施し、元のヒューマン研究の結果と比較した。
• 主効果および交互作用効果の両方において、効果量、p値、有意水準の比較を通じて再現成功を評価した。
• 参加者サンプル、メディア刺激、測定ツールを変更することで、AI再現の一般化能力をテストした。

実験結果

リサーチクエスチョン

• RQ1 LLMsが生成したAIペルソナは、133件の発表済みメディア効果実験の主効果をどの程度正確に再現できるか？
• RQ2 参加者サンプル、刺激、または測定ツールを元の研究から変更した場合、LLMの再現がどの程度一般化できるか？
• RQ3 LLMsがメディアおよびマーケティング研究における複雑な交互作用効果を再現する際に抱える限界は何か？
• RQ4 AIが生成した結果は、元のヒューマン研究の結果と比較して、統計的有意水準および効果量の観点でどの程度類似しているか？
• RQ5 LLMsをマーケティング研究で信頼できる形で使用するためには、どのようなベンチマークと方法論的基準が必要か？

主な発見

• LLMsは、テストした133件の実験的発見のうち、主効果84件（111件中76％）を成功裏に再現した。
• 交互作用効果を含む全体の再現率は68％（133件中90件）であり、高いが完璧ではない正確性を示している。
• 参加者サンプル、メディア刺激、測定ツールを変更した一般化テストでは再現正確性にばらつきが見られ、パラメータの変更に伴いAI結果が変化しうることを示した。
• スケーラビリティとスピードの利点から、AI再現は消費者製品開発における迅速なメッセージテストに実用的利点を示した。
• 複雑な交互作用効果のモデル化における限界と、LLMs出力に潜在するバイアスの兆候が観察され、厳密な検証の必要性が強調された。
• 本研究は、メディアおよびマーケティング心理学会における理論構築の加速と再現性の向上を目的とした、LLMsをスケーラブルなツールとして活用する基盤を確立した。