[論文レビュー] Generative Agent Simulations of 1,000 People

Joon Sung Park, Changqing Zou+7 more|arXiv (Cornell University)|Nov 15, 2024

COVID-19 epidemiological studies被引用数 31

ひとこと要約

この論文は自己報告データ（インタビューと調査）から生成的エージェントを構築し、個人をシミュレートする。高い正確性を達成し、タスク特異的な学習データなしでグループ間のバイアスを低減する。

ABSTRACT

The promise of human behavioral simulation--general-purpose computational agents that replicate human behavior across domains--could enable broad applications in policymaking and social science. We present a novel agent architecture that simulates the attitudes and behaviors of 1,052 real individuals--applying large language models to qualitative interviews about their lives, then measuring how well these agents replicate the attitudes and behaviors of the individuals that they represent. The generative agents replicate participants' responses on the General Social Survey 85% as accurately as participants replicate their own answers two weeks later, and perform comparably in predicting personality traits and outcomes in experimental replications. Our architecture reduces accuracy biases across racial and ideological groups compared to agents given demographic descriptions. This work provides a foundation for new tools that can help investigate individual and collective behavior.

研究の動機と目的

• LLMベースのエージェントが自己報告データに基づき、タスク特異的学習なしに多様な成果へ一般化できることを実証する。
• エージェントの正確さを評価するために2つのデータ源—半構造化インタビューと構造化調査—を評価する。
• データ源を組み合わせると性能が向上し格差が縮小するかを評価する。
• エージェントが人間と同様に実験で人格特性と行動を予測できるかを示す。

提案手法

• 米国 Voices Project の2時間半構造化インタビューおよび/または構造化調査（General Social Survey, Big Five）からエージェントを構築する。
• 自己報告データでLLMsをグラウンドし、人口統計だけでなく個人をシミュレートするようにする。
• 保持アウトのGSS項目に対する2週間のテスト-再テスト一貫性と比較してエージェントの正確さを評価。
• インタビューのみ、調査のみ、組み合わせデータの予測タスクにおける性能を比較。
• 人種的およびイデオロギー的グループ間の正確さの格差を demographics-only ベースラインと比較して評価。

実験結果

リサーチクエスチョン

• RQ1 自己報告に基づくLLMエージェントは、タスク特異的な学習データなしに複数の成果へ一般化できるか？
• RQ2 異なるデータ源（インタビュー、調査、またはその両方）はエージェントの正確さと一貫性にどう影響するか？
• RQ3 自己報告に基づくエージェントは人種的・イデオロギー的格差の予測精度を減らせるか？
• RQ4 エージェントの予測は人格特性と行動について人間のベンチマークとどのように比較されるか？
• RQ5 インタビューと調査データの組み合わせがシミュレーションの質に与える影響は？

主な発見

• インタビューのみのエージェントは参加者の2週間の再テストに対して83%の正確さを達成。調査のみは82%、組み合わせデータは86%を達成。
• 人口統計だけで促したベースラインエージェントは74%の正確さ。
• エージェントは人格特性と行動を人間と同等の精度で予測する。
• 自己報告に基づくエージェントはDemographics-onlyベースラインと比較して、人種的・イデオロギー的グループ間の正確さの格差を減らす。
• 豊富な自己報告データを用いることで、タスク特異的な学習データなしに成果を跨いだ一般目的のシミュレーションが可能になる。