[논문 리뷰] Social Simulacra: Creating Populated Prototypes for Social Computing Systems

Joon-Sung Park, Lindsay Popowski외 4명|arXiv (Cornell University)|2022. 08. 08.

Persona Design and Applications인용 수 15

한 줄 요약

이 논문은 사회적 시뮬라크라(social simulacra)를 소개한다. 이 기법은 대규모 언어 모델(LLM)을 활용해 설계자가 사회 컴퓨팅 시스템의 목표, 규칙, 구성원 역할에 대해 기술한 바에 따라 수천 개의 현실적인 사회적 상호작용(예: 게시글, 댓글, 반사회적 행동 등)을 생성한다. 이 방법을 통해 설계자는 출시 전에 '만약에?' 시나리오를 탐색하고 설계를 개선할 수 있으며, 평가 결과에 따르면 참가자들은 생성된 콘텐츠와 실제 커뮤니티 행동을 자주 구분하지 못하는 것으로 나타났다.

ABSTRACT

Social computing prototypes probe the social behaviors that may arise in an envisioned system design. This prototyping practice is currently limited to recruiting small groups of people. Unfortunately, many challenges do not arise until a system is populated at a larger scale. Can a designer understand how a social system might behave when populated, and make adjustments to the design before the system falls prey to such challenges? We introduce social simulacra, a prototyping technique that generates a breadth of realistic social interactions that may emerge when a social computing system is populated. Social simulacra take as input the designer's description of a community's design -- goal, rules, and member personas -- and produce as output an instance of that design with simulated behavior, including posts, replies, and anti-social behaviors. We demonstrate that social simulacra shift the behaviors that they generate appropriately in response to design changes, and that they enable exploration of "what if?" scenarios where community members or moderators intervene. To power social simulacra, we contribute techniques for prompting a large language model to generate thousands of distinct community members and their social interactions with each other; these techniques are enabled by the observation that large language models' training data already includes a wide variety of positive and negative behavior on social media platforms. In evaluations, we show that participants are often unable to distinguish social simulacra from actual community behavior and that social computing designers successfully refine their social computing designs when using social simulacra.

연구 동기 및 목표

• 소규모 그룹 테스트로는 대규모 사회적 역동성을 드러내지 못하는 사회 컴퓨팅 프로토타이핑의 격차를 해소하기 위해.
• 출시 전에 시스템 내에서 발생할 수 있는 모든 유형의 사회적 및 반사회적 행동을 탐색할 수 있도록 설계자에게 기회를 제공하기 위해.
• LLM을 활용해 다양한 행동적으로 현실적인 커뮤니티 상호작용을 스케일링 가능한 자동화된 방법으로 생성하기 위해.
• 설계 변경이 사회적 역동성에 미치는 영향, 특히 모더레이터 개입까지 포함해 시뮬레이션할 수 있도록 설계자에게 도구를 제공하기 위해.
• 합성 시뮬레이션을 통해 해로운 행동을 사전에 예측할 수 있는 안전하고 감사 가능한 환경을 제공하기 위해.

제안 방법

• 이 방법은 설계자가 제공한 시드 역할(세eds)에서 출발해 GPT-3를 사용해 프ompt 체인을 통해 다양한 커뮤니티 구성원 역할을 생성한다.
• 그 후, 커뮤니티의 명시된 목표, 규칙, 모더레이션 정책을 바탕으로 게시글과 댓글을 생성하여 설계와 일관된 행동을 확보한다.
• 이 접근법은 LLM이 광범위한 실제 소셜 미디어 데이터를 학습한 덕분에 긍정적이고 부정적인 상호작용 패턴을 모두 포괄한다는 점을 활용한다.
• UIST 논문 리뷰를 위한 레딧 유사 커뮤니티를 대상으로 시뮬레이션 도구인 SimReddit라는 프로토타입을 개발하여 방법의 실현 가능성을 입증한다.
• 설계자가 규칙나 역할을 변경했을 때 발생하는 사회적 역동성의 변화를 테스트할 수 있도록 반복적인 설계 탐색을 지원한다.
• 중앙 로깅 및 콘텐츠 샘플링과 같은 보안 조치를 통해 오용을 방지하고 잠재적 악용을 탐지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사회적 시뮬라크라는 사회 컴퓨팅 시스템의 설계 선택을 반영한 행동적으로 현실적인 사회적 상호작용을 생성할 수 있는가?
• RQ2 다양한 설계 조건 하에서 반사회적 행동의 발생이 얼마나 잘 시뮬레이션되는가?
• RQ3 설계자는 사회적 시뮬라크라에서 얻은 통찰을 바탕으로 자신의 시스템 설계를 성공적으로 개선할 수 있는가?
• RQ4 사용자는 사회적 시뮬라크라 콘텐츠를 실제 커뮤니티 행동과 얼마나 잘 구분할 수 있는가?
• RQ5 유해하거나 편향된 콘텐츠를 생성함으로써 발생할 수 있는 윤리적 리스크는 무엇이며, 실무적으로는 어떻게 완화할 수 있는가?

주요 결과

• 참가자들은 사회적 시뮬라크라가 생성한 콘텐츠를 실제 커뮤니티 행동과 자주 구분하지 못했으며, 이는 생성된 상호작용의 높은 현실성에 기인한다.
• 설계자는 사회적 시뮬라크라를 활용해 사회 컴퓨팅 설계를 성공적으로 개선했으며, 이는 반복적 프로토타이핑에서의 유용성을 입증한다.
• 규칙 변경이나 모더레이터 개입 도입과 같은 설계 변경에 대해 시스템이 적절하게 행동 패턴을 변화시켰다.
• 사회적 시뮬라크라는 건설적 행동과 반사회적 행동을 포함한 다양한 행동 패턴을 성공적으로 생성했으며, 현실 세계의 역동성을 반영했다.
• 이 방법은 커뮤니티 구성원이나 모더레이터의 '만약에?' 시나리오 탐색을 가능하게 하여 사전적 설계 결정을 지원했다.
• 도구는 훈련 데이터의 편향(예: 소수자 집단의 부족한 표현)이 반복될 수 있음을 드러내었으며, 이는 다양한 시드 역할이 필요하다는 점을 강조한다.