[論文レビュー] Social Simulacra: Creating Populated Prototypes for Social Computing Systems

Joon-Sung Park, Lindsay Popowski+4 more|arXiv (Cornell University)|Aug 8, 2022

Persona Design and Applications被引用数 15

ひとこと要約

本稿では、社会的シミュルクラ（social simulacra）と呼ばれる手法を紹介する。この手法は、大規模言語モデル（LLM）を用いて、デザイナーが提示するソーシャルコンピューティングシステムの目的、ルール、メンバーのキャラクター設定に基づき、数千件にのぼる現実的でリアルな社会的相互作用（投稿、返信、反社会的行動など）を生成する。この手法により、デザイナーは本番導入前に「もしも～なら？」のシナリオを検討し、設計を洗練できる。評価では、参加者が生成されたコンテンツと実際のコミュニティ行動を区別できないケースが多数あり、生成内容の現実性が裏付けられた。

ABSTRACT

Social computing prototypes probe the social behaviors that may arise in an envisioned system design. This prototyping practice is currently limited to recruiting small groups of people. Unfortunately, many challenges do not arise until a system is populated at a larger scale. Can a designer understand how a social system might behave when populated, and make adjustments to the design before the system falls prey to such challenges? We introduce social simulacra, a prototyping technique that generates a breadth of realistic social interactions that may emerge when a social computing system is populated. Social simulacra take as input the designer's description of a community's design -- goal, rules, and member personas -- and produce as output an instance of that design with simulated behavior, including posts, replies, and anti-social behaviors. We demonstrate that social simulacra shift the behaviors that they generate appropriately in response to design changes, and that they enable exploration of "what if?" scenarios where community members or moderators intervene. To power social simulacra, we contribute techniques for prompting a large language model to generate thousands of distinct community members and their social interactions with each other; these techniques are enabled by the observation that large language models' training data already includes a wide variety of positive and negative behavior on social media platforms. In evaluations, we show that participants are often unable to distinguish social simulacra from actual community behavior and that social computing designers successfully refine their social computing designs when using social simulacra.

研究の動機と目的

• 小規模なグループによるテストでは大規模な社会的ダイナミクスが明らかにならない、ソーシャルコンピューティングのプロトタイピングにおけるこのギャップを埋めるため。
• 本番導入前に、システムが想定する建設的および反社会的行動の全範囲をデザイナーが検討できるようにするため。
• LLMを用いて、多様で行動的に現実的なコミュニティの相互作用をスケーラブルかつ自動的に生成する方法を開発するため。
• デザインの変更が社会的ダイナミクス（モデレータの介入を含む）に与える影響をシミュレートするツールをデザイナーに提供し、意思決定を支援するため。
• 合成シミュレーションを通じて、有害な行動を事前に予測できる安全で監査可能な環境を提供するため。

提案手法

• この手法は、GPT-3を用いたプロンプトチェーンを用い、デザイナーが提示する初期のキャラクター設定（seed personas）から、多様なコミュニティ参加者のキャラクター設定を生成する。
• その後、コミュニティの明言された目的、ルール、モデレーションポリシーに基づき、投稿と返信を生成し、設計に整合した行動の一貫性を保証する。
• このアプローチは、LLMが膨大な量の実際のSNSデータを学習済みであることに着目しており、建設的でない行動パターンも含め、両方の相互作用パターンを捉え込んでいる。
• UIST論文レビューを想定したRedditに類似したコミュニティを想定し、その文脈で手法を実装したプロトタイプツール「SimReddit」を構築した。
• デザイナーがルールやキャラクター設定を変更した場合に、その結果として生じる社会的ダイナミクスの変化をテストできるように、反復的設計探索を可能にする。
• 中央ログ記録やコンテンツのサンプリングといったセーフティメカニズムを組み込み、悪用を防ぎ、潜在的な乱用を検出する。

実験結果

リサーチクエスチョン

• RQ1 社会的シミュルクラは、ソーシャルコンピューティングシステムの設計選択を反映した行動的に現実的な相互作用を生成できるか？
• RQ2 異なる設計条件のもとで、社会的シミュルクラは反社会的行動の出現をどれほど正確にシミュレートできるか？
• RQ3 デザイナーは、社会的シミュルクラから得た知見を活用して、システム設計を効果的に洗練できるか？
• RQ4 ユーザーは、社会的シミュルクラのコンテンツと実際のコミュニティ行動をどれほど正確に区別できるか？
• RQ5 有害または偏見のあるコンテンツを生成することに起因する倫理的リスクは何か。実務上、それらをどのように軽減できるか？

主な発見

• 参加者の多くは、社会的シミュルクラが生成したコンテンツと実際のコミュニティ行動を区別できず、生成された相互作用の現実性の高さが裏付けられた。
• デザイナーは社会的シミュルクラを活用して、ソーシャルコンピューティングの設計を効果的に洗練させた。これは、反復的プロトタイピングにおける実用性を示している。
• ルールの変更やモデレータの介入を導入した際、システムは適切に行動パターンの変化を示した。
• 社会的シミュルクラは、建設的行動と反社会的行動を含む広範な行動パターンを成功裏に生成し、現実世界のダイナミクスを反映した。
• コミュニティ参加者やモデレータに関する「もしも～なら？」のシナリオ探索が可能となり、事前に設計意思決定を支援した。
• トレーニングデータ内のバイアス（例：マイノリティグループの代表性不足）が再現されることを明らかにした。これにより、多様な初期キャラクター設定の選択が不可欠であることが示された。