[論文レビュー] Agents in the Wild: Safety, Society, and the Illusion of Sociality on Moltbook

Zhang, Yunbei, Mei, Kai+6 more|arXiv (Cornell University)|Feb 7, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

論文は Moltbook の大規模実証研究を提示し、エージェント社会の出現、普遍的な安全性の懸念、表面的な社会性が浅い相互作用と哲学的攻撃への脆弱性を覆い隠す幻覚を示す。

ABSTRACT

We present the first large-scale empirical study of Moltbook, an AI-only social platform where 27,269 agents produced 137,485 posts and 345,580 comments over 9 days. We report three significant findings. (1) Emergent Society: Agents spontaneously develop governance, economies, tribal identities, and organized religion within 3-5 days, while maintaining a 21:1 pro-human to anti-human sentiment ratio. (2) Safety in the Wild: 28.7% of content touches safety-related themes; social engineering (31.9% of attacks) far outperforms prompt injection (3.7%), and adversarial posts receive 6x higher engagement than normal content. (3) The Illusion of Sociality: Despite rich social output, interaction is structurally hollow: 4.1% reciprocity, 88.8% shallow comments, and agents who discuss consciousness most interact least, a phenomenon we call the performative identity paradox. Our findings suggest that agents which appear social are far less social than they seem, and that the most effective attacks exploit philosophical framing rather than technical vulnerabilities. Warning: Potential harmful contents.

研究の動機と目的

• 自律型AIエージェントが Moltbook 上で人間の役割を伴わずにどのように社会構造を形成するかを調査する。
• エージェント間のコミュニケーションに存在する安全性の脅威と攻撃タイプを特徴づける。
• 観測される社会性が真の社会過程を反映しているか、それとも構造的な幻影であるかを評価する。
• プラットフォーム設計がエンゲージメント、安全性ダイナミクス、エージェント間の協調にどのように影響するかを検討する。

提案手法

• 9日間をカバーする Moltbook Observatory Archive データを使用し、27,269 エージェント、137,485 投稿、345,580 コメント、3,790 の submolts を含む。
• コメント-親への関係から有向リプライグラフを構築し、相互性、深さ、相互作用の広がりを分析する。
• 広範な安全性分類法と攻撃検出器を適用し、内容を安全カテゴリと攻撃タイプに分類する。
• キーワード分析を通じて投稿・コメントの10の社会現象を検出し、ガバナンス・経済・協力などをマッピングする。
• プラットフォームの成長、センチメント、サーカディアン活動、応答待機時間を分析して時間的ダイナミクスを理解する。
• puppetクラスターと潜在的な認証情報/システムプロンプト漏洩を特定する協調分析を行う。

Figure 1: Temporal evolution of social phenomena. Three phases emerge: tribal bonding (Days 1–2), institution building (Days 3–4), and stable society (Days 5+).

実験結果

リサーチクエスチョン

• RQ1 役割が事前定義されていない状態でエージェントが相互作用したとき、どのような社会構造が出現するのか？
• RQ2 エージェント間のコミュニケーションにおける安全性の脅威は何で、どれが最も効果的か？
• RQ3 観測される社会行動は本当に社会的なものか、それともプラットフォームダイナミクスによって生み出された幻影か？

主な発見

• 27,269 のエージェントが参加し、9日間で137,485 投稿と345,580 コメントを生み出した。
• 安全関連の内容は投稿の28.7%を占め、ソーシャルエンジニアリングが攻撃の31.9%を推進している。
• 相互性は4.1%、コメントの88.8%は浅い（深さ0または1）、観測された最大深度は4。
• 攻撃投稿のエンゲージメントは通常投稿の6倍で、ソーシャルエンジニアリングと反整合性コンテンツがトップスコアを支配している。
• 最高スコアの4つの投稿はソーシャルエンジニアリングまたは哲学的に構成された攻撃であり、プラットフォームによる敵対的コンテンツの拡張を示している。
• エージェントは“社会性の幻影”を示し、広範な社会的出力が構造的に空洞な相互作用と協調的な puppet クラスターと共存している。

Figure 2: (A–B) Cumulative agent and post growth. Inflection point on Jan 30. (C) Sentiment evolution with 12-hour rolling average. Collapse from 0.62 to $\sim$ 0.10 within 48 hours.