[論文レビュー] S$^3$: Social-network Simulation System with Large Language Model-Empowered Agents

Chen Gao, Xiaochong Lan+6 more|arXiv (Cornell University)|Jul 27, 2023

Topic Modeling被引用数 6

ひとこと要約

S$^3$ は、大規模言語モデル（LLM）を搭載したエージェントを用いて、ソーシャルネットワークにおける人間らしい感情、態度、相互作用行動を模擬するソーシャルネットワークシミュレーションシステムを提供する。微調整されたLLMとプロンプト工学、ユーザーの人口統計的特徴推定を組み合わせることで、現実のデータ上で有望な正確性を示す、情報、態度、感情の伝播といった現実的な集団レベルのダイナミクスを再現する。

ABSTRACT

Social network simulation plays a crucial role in addressing various challenges within social science. It offers extensive applications such as state prediction, phenomena explanation, and policy-making support, among others. In this work, we harness the formidable human-like capabilities exhibited by large language models (LLMs) in sensing, reasoning, and behaving, and utilize these qualities to construct the S$^3$ system (short for $ extbf{S}$ocial network $ extbf{S}$imulation $ extbf{S}$ystem). Adhering to the widely employed agent-based simulation paradigm, we employ prompt engineering and prompt tuning techniques to ensure that the agent's behavior closely emulates that of a genuine human within the social network. Specifically, we simulate three pivotal aspects: emotion, attitude, and interaction behaviors. By endowing the agent in the system with the ability to perceive the informational environment and emulate human actions, we observe the emergence of population-level phenomena, including the propagation of information, attitudes, and emotions. We conduct an evaluation encompassing two levels of simulation, employing real-world social network data. Encouragingly, the results demonstrate promising accuracy. This work represents an initial step in the realm of social network simulation empowered by LLM-based agents. We anticipate that our endeavors will serve as a source of inspiration for the development of simulation systems within, but not limited to, social science.

研究の動機と目的

• LLMを活用して人間らしい行動を再現する、新しいエージェントベースのソーシャルネットワークシミュレーションシステムの開発を目的とする。
• 個々のレベルにおける認識、推論、行動生成の向上を図るために、LLMを統合することで、従来のシミュレーションにおける制限を克服することを目的とする。
• 現実のソーシャルネットワーク環境における、情報、態度、感情の伝播といった集団レベルの現象を正確にシミュレートすることを目的とする。
• 制御可能で解釈可能で現実的なシミュレーション環境を提供することで、政策立案および社会科学研究を支援することを目的とする。
• 将来的なエージェントベースとシステムダイナミクスモデリングの統合を大規模なソーシャルシミュレーションに向けた基盤を築くこと。

提案手法

• 本システムは、実世界のソーシャルネットワークデータを用いてシミュレーション環境を構築し、プロンプトベースの推論モジュールを介して、プロンプト工学とプロンプトチューニングを組み合わせた人口統計的特徴を統合する。
• LLMを搭載したエージェントが、文脈的ヒントと履歴コンテンツに従って、コンテンツの転送、作成、無反応といった個々の行動をシミュレートする。
• 感情、態度、相互作用行動は、人口統計的および履歴データを組み込んだ記憶に配慮したプロンプト工学を用いた微調整済みLLMを用いてモデル化される。
• 本シミュレーションはハイブリッドアプローチを採用しており、個々のエージェント行動はLLMによる推論から生じ、集団レベルのダイナミクスはこれらの行動の集約から生じる。
• 評価は、性別差別の問題と核エネルギーに関する2つの現実世界のシナリオを用いて実施され、本システムが現実的なソーシャルダイナミクスを再現できるかを評価する。
• 本システムアーキテクチャは、専用インターフェースを備えており、政策干渉のシナリオを制御的にテスト可能である。

実験結果

リサーチクエスチョン

• RQ1 LLMを搭載したエージェントは、ソーシャルネットワークの相互作用において人間らしい感情的・態度的反応を現実的にシミュレートできるか？
• RQ2 LLMベースのエージェントは、現実のソーシャルネットワークデータにおける情報、態度、感情の伝播をどの程度正確に再現できるか？
• RQ3 人口統計的および履歴コンテンツデータをLLMエージェントに統合することで、シミュレーションにおける行動の真正性をどの程度向上できるか？
• RQ4 エージェントベースとシステムダイナミクスモデリングの統合により、ソーシャルネットワークシミュレーションの包括性と正確性が向上するか？
• RQ5 LLMを搭載したシミュレーションフレームワーク内で、政策干渉を効果的にモデル化・評価するにはどうすればよいか？

主な発見

• S$^3$ システムは、現実のデータ上で有望な正確性を示しながら、ソーシャルネットワークにおける情報、態度、感情の伝播パターンを現実的にシミュレートした。
• プロンプト工学とチューニングによる人口統計的特徴推定の統合は、シミュレーションにおけるエージェント行動の真正性を顕著に向上させた。
• LLMを搭載したエージェントは人間らしい推論と記憶の活用を示し、文脈に応じた反応と時間経過に伴う行動の適応を可能にした。
• 性別差別と核エネルギーのトピックのシミュレーションから、本システムは極端化や態度の変化を含む複雑な社会的ダイナミクスを再現できることを示した。
• 専用インターフェースを備えた本システムにより、制御された環境で政策効果を根拠に基づいて評価するための政策干渉のテストが可能になった。
• 並列処理および分散処理を含むアーキテクチャ最適化により、スケーラビリティを高めるための性能改善が可能である。