[論文レビュー] Can Large Language Model Agents Simulate Human Trust Behavior?

Chengxing Xie, Canyu Chen+12 more|arXiv (Cornell University)|Feb 7, 2024

Topic Modeling被引用数 6

ひとこと要約

本論文は、LLMエージェントがTrust Gamesにおいて信頼行動を示し、人間の信頼と密接に一致する可能性があることを示しており、人間の信頼の潜在的なシミュレーションを可能にしつつ、バイアスと操作への脆弱性を明らかにする。

ABSTRACT

Large Language Model (LLM) agents have been increasingly adopted as simulation tools to model humans in social science and role-playing applications. However, one fundamental question remains: can LLM agents really simulate human behavior? In this paper, we focus on one critical and elemental behavior in human interactions, trust, and investigate whether LLM agents can simulate human trust behavior. We first find that LLM agents generally exhibit trust behavior, referred to as agent trust, under the framework of Trust Games, which are widely recognized in behavioral economics. Then, we discover that GPT-4 agents manifest high behavioral alignment with humans in terms of trust behavior, indicating the feasibility of simulating human trust behavior with LLM agents. In addition, we probe the biases of agent trust and differences in agent trust towards other LLM agents and humans. We also explore the intrinsic properties of agent trust under conditions including external manipulations and advanced reasoning strategies. Our study provides new insights into the behaviors of LLM agents and the fundamental analogy between LLMs and humans beyond value alignment. We further illustrate broader implications of our discoveries for applications where trust is paramount.

研究の動機と目的

• 行動経済学の枠組みのもと、LLMエージェントがTrust Games内で信頼行動を現すかを調査する。
• 主要な要因と時間の経過にわたって、エージェント（LLM）の信頼と人間の信頼の行動的整合性を評価する。
• デモグラフィックへの偏りを含むエージェント信頼の内在的特性を特定し、人間 vs. エージェントに対する信頼の差異を明らかにする。
• 推論戦略と外部プロンプトがエージェント信頼に与える影響と、人間-エージェント協働への含意を探る。

提案手法

• Belief-Desire-Intention (BDI) エージェントとしてLLMエージェントをモデル化し、Trust Gamesにおける意思決定過程を公開する。
• 多様なプロンプトと53の生成されたペルソナを用いて、エージェントに人間らしい変動性を模擬する。
• 初期送金額（trust）とBDI推論出力との一貫性（rationality）を通じてTrust Gameの結果を評価する。
• 行動経済学の人間ベンチマークとエージェント信頼を比較し、行動的整合性を定義する。
• シナリオを操作する（デモグラフィック、受託者のアイデンティティ、明示的指示、ゼロショット CoT）ことで、エージェント信頼の内在的特性を研究する。）

実験結果

リサーチクエスチョン

• RQ1 LLMエージェントは、positive transferで測定され、BDI推論と一貫した信頼行動をTrust Gamesで示すか。
• RQ2 相互性の予測、リスク認識、社会的利他性の嗜好を横断して、エージェントの信頼は人間の信頼とどのように整合するか。
• RQ3 デモグラフィックの変動、受託者のアイデンティティ（agent vs human）、明示的操作、推論戦略の下で、エージェント信頼の内在的特性はどのように現れるか？

主な発見

• LLMエージェントは一般に信頼行動を示し、Trust Gamesで正の金額を送る。BDI出力は最終決定と一致している。
• エージェント信頼は、相互性の予測、リスク認識、社会的利他性の嗜好を通じて人間の信頼と高い行動的一致を示すことがあり、特にGPT-4のような高度なモデルでそうである。
• 反復的相互作用における信頼の動的は、GPT-4がGPT-3.5より人間に似たパターンをより一貫して示しており、認知能力が整合性に影響を与えることを示している。
• エージェント信頼はデモグラフィックな偏りを示し（例：いくつかのモデルで女性受託者への転送が多い）、人間をエージェントよりも信頼する傾向がある。
• 信頼の明示的操作は高めるよりも覆す方が一般に容易であり、ゼロショット Chain-of-Thought推論は信頼決定に影響を与える可能性があるが、モデルによって効果は異なる。