[论文解读] Social Simulacra: Creating Populated Prototypes for Social Computing Systems

Joon-Sung Park, Lindsay Popowski+4 more|arXiv (Cornell University)|Aug 8, 2022

Persona Design and Applications被引用 15

一句话总结

本文提出了社会拟像（social simulacra）技术，该技术利用大语言模型（LLMs）根据设计者对社交计算系统目标、规则和成员角色的描述，自动生成数千个逼真的社交互动（如帖子、回复及反社会行为）。该方法使设计者能够在发布前探索“如果……会怎样？”的场景，并优化设计方案；评估结果表明，参与者通常无法区分生成内容与真实社区行为。

ABSTRACT

Social computing prototypes probe the social behaviors that may arise in an envisioned system design. This prototyping practice is currently limited to recruiting small groups of people. Unfortunately, many challenges do not arise until a system is populated at a larger scale. Can a designer understand how a social system might behave when populated, and make adjustments to the design before the system falls prey to such challenges? We introduce social simulacra, a prototyping technique that generates a breadth of realistic social interactions that may emerge when a social computing system is populated. Social simulacra take as input the designer's description of a community's design -- goal, rules, and member personas -- and produce as output an instance of that design with simulated behavior, including posts, replies, and anti-social behaviors. We demonstrate that social simulacra shift the behaviors that they generate appropriately in response to design changes, and that they enable exploration of "what if?" scenarios where community members or moderators intervene. To power social simulacra, we contribute techniques for prompting a large language model to generate thousands of distinct community members and their social interactions with each other; these techniques are enabled by the observation that large language models' training data already includes a wide variety of positive and negative behavior on social media platforms. In evaluations, we show that participants are often unable to distinguish social simulacra from actual community behavior and that social computing designers successfully refine their social computing designs when using social simulacra.

研究动机与目标

• 解决社交计算原型设计中因小规模群体测试而无法揭示大规模社交动态的问题。
• 使设计者能够在部署前探索系统中潜在的亲社会与反社会行为的全谱系。
• 开发一种可扩展、自动化的技术，利用大语言模型生成多样化且行为逼真的社区互动。
• 赋予设计者一种工具，用于模拟设计变更对社交动态（包括管理员干预）的影响。
• 通过合成仿真提供一个安全、可审计的环境，以前瞻性地识别社交系统中的有害行为。

提出的方法

• 该方法使用 GPT-3 的提示链，首先从设计者提供的种子角色出发，生成多样化的社区成员角色。
• 然后基于社区的既定目标、规则和内容审核政策，生成帖子和回复，确保行为与设计保持一致。
• 该方法利用大语言模型在海量真实社交媒体数据上进行训练的事实，捕捉了积极与消极的互动模式。
• 实现了一个名为 SimReddit 的原型工具，以在类似 Reddit 的社区（用于 UIST 论文评审）背景下展示该方法。
• 系统支持迭代式设计探索，允许设计者测试规则或角色变更如何改变最终的社交动态。
• 该方法包含多项防护措施，如集中日志记录和内容抽样，以防止滥用并检测潜在违规行为。

实验结果

研究问题

• RQ1 社会拟像能否生成反映社交计算系统设计选择的行为逼真社交互动？
• RQ2 在不同设计条件下，社会拟像对反社会行为的涌现模拟效果如何？
• RQ3 设计者能否成功利用社会拟像获得的洞察来优化其系统设计？
• RQ4 用户在多大程度上无法区分社会拟像内容与真实社区行为？
• RQ5 生成有害或偏见内容会带来哪些伦理风险，实践中又该如何缓解？

主要发现

• 参与者通常无法区分社会拟像生成的内容与真实社区行为，表明生成互动具有高度逼真性。
• 设计者在使用社会拟像时成功优化了其社交计算系统设计，证明了其在迭代原型设计中的实用性。
• 系统能根据设计变更（如修改规则或引入管理员干预）恰当调整行为模式。
• 社会拟像成功生成了广泛的行为类型，包括建设性互动与反社会行为，真实反映了现实世界中的动态。
• 该方法支持对社区成员或管理员参与的“如果……会怎样？”场景探索，有助于主动设计决策。
• 该工具揭示了训练数据中的偏见（如代表性不足的边缘化群体）可能被复制，凸显了使用多样化种子角色的必要性。