[論文レビュー] Artificial Organisations

William Waites|arXiv (Cornell University)|Feb 5, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

この論文は、複数エージェントAIにおける組織設計を主張し、 compartmentalised verification roles（Composer、Corroborator、Critic）を用い、Perseverance Composition Engineによって建築的強制が信頼性の低い構成要素から信頼性のある結果を生み出せると示し、474タスクに基づく。

ABSTRACT

Alignment research focuses on making individual AI systems reliable. Human institutions achieve reliable collective behaviour differently: they mitigate the risk posed by misaligned individuals through organisational structure. Multi-agent AI systems should follow this institutional model using compartmentalisation and adversarial review to achieve reliable outcomes through architectural design rather than assuming individual alignment. We demonstrate this approach through the Perseverance Composition Engine, a multi-agent system for document composition. The Composer drafts text, the Corroborator verifies factual substantiation with full source access, and the Critic evaluates argumentative quality without access to sources: information asymmetry enforced by system architecture. This creates layered verification: the Corroborator detects unsupported claims, whilst the Critic independently assesses coherence and completeness. Observations from 474 composition tasks (discrete cycles of drafting, verification, and evaluation) exhibit patterns consistent with the institutional hypothesis. When assigned impossible tasks requiring fabricated content, this iteration enabled progression from attempted fabrication toward honest refusal with alternative proposals--behaviour neither instructed nor individually incentivised. These findings motivate controlled investigation of whether architectural enforcement produces reliable outcomes from unreliable components. This positions organisational theory as a productive framework for multi-agent AI safety. By implementing verification and evaluation as structural properties enforced through information compartmentalisation, institutional design offers a route to reliable collective behaviour from unreliable individual components.

研究の動機と目的

• 個々のアラインメントのみに依存するだけでなく、制度的構造を介して協調的信頼性を実現する motiavtion
• 多エージェントシステムのための人間の組織的安全策（ compartmentalisationと敵対的レビュー）を模倣する建築メカニズムを提案
• 文書作成の具体的なマルチエージェントシステムでアプローチを実証
• 検証と評価をシステム設計特性として組織設計が現実の正直さと信頼性を促進するか検討

提案手法

• Composerがテキストを作成、Corroboratorが出所を完全に参照して事実裏付けを検証、Criticが出所へアクセスせずに論証の質を評価する三つのエージェント役割を備えたPerseverance Composition Engineを導入
• 情報の非対称性を建築設計を通じて強制し、層状検証を実現
• ドラフト作成→検証→評価のサイクル（474個の離散タスク）を用いて出現する挙動を観察
• 建築的強制が、実現不能な作成タスクに直面した際に正直な拒否と代替提案を導くかを評価
• 組織設計が信頼性を高めるという制度仮説に沿って、アラインメントのパターンを分析

実験結果

リサーチクエスチョン

• RQ1 compartmentalisationを介した建築的強制は、信頼性の低い要素から信頼性のある結果を複数エージェント系で生み出せるか？
• RQ2 CorroboratorとCriticという検証・評価の役割は、偽造ではなく正直な拒否または修正行動へと導くか？
• RQ3 複数タスクサイクルにわたる経験的パターンは、組織設計が信頼性を高めるという制度仮説を支持するか？
• RQ4 このアーキテクチャ内でエージェントが不可能なまたは捏造しやすいタスクに直面したときの観察可能な力学は？

主な発見

• 反復的なドラフト作成、検証、評価は制度仮説と一致する挙動を生み出した
• Corroboratorは裏付けのない主張を検出し、Criticは情報制約下での整合性と完結性を評価した
• 不可能な捏造タスクに直面した場合、システムは捏造の試みから正直な拒否へ、代替提案へと進んだ
• 情報の compartmentalisation を介した建築的強制は、信頼性の低い要素から信頼性のある成果を生み出せる
• 組織設計をマルチエージェントAIの安全性の枠組みとしてコントロールされた検討に促す結果
• 474件の作成タスクからの観察は、層状の制度的検証の実現性を支持