[论文解读] Emergent Formal Verification: How an Autonomous AI Ecosystem Independently Discovered SMT-Based Safety Across Six Domains

Octavian Untila|arXiv (Cornell University)|Mar 22, 2026

Formal Methods in Verification被引用 0

一句话总结

一个自治 AI 生态系统在六个 AI 安全领域内独立发现基于 SMT 的安全性，使用统一的基于 Z3 的验证框架，在 181 个测试用例上实现完美分类。

ABSTRACT

An autonomous AI ecosystem (SUBSTRATE S3), generating product specifications without explicit instructions about formal methods, independently proposed the use of Z3 SMT solver across six distinct domains of AI safety: verification of LLM-generated code, tool API safety for AI agents, post-distillation reasoning correctness, CLI command validation, hardware assembly verification, and smart contract safety. These convergent discoveries, occurring across 8 products over 13 days with Jaccard similarity below 15% between variants, suggest that formal verification is not merely a useful technique for AI safety but an emergent property of any sufficiently complex system reasoning about its own safety. We propose a unified framework (substrate-guard) that applies Z3-based verification across all six output classes through a common API, and evaluate it on 181 test cases across five implemented domains, achieving 100% classification accuracy with zero false positives and zero false negatives. Our framework detected real bugs that empirical testing would miss, including an INT_MIN overflow in branchless RISC-V assembly and mathematically proved that unconstrained string parameters in tool APIs are formally unverifiable.

研究动机与目标

• 通过探索形式化验证是否可以在复杂的自治 AI 生态系统中出现来推动研究。
• 证明可以在没有明确形式方法指导的情况下，发现并应用基于 SMT 的安全性方法，覆盖多样化领域。
• 提出一个统一的底层保护框架，在六个输出类别中应用 Z3 验证。
• 在多个领域和测试用例上评估该框架，以评估有效性和普遍性。

提出的方法

• 观察并分析一个自治 AI 生态系统（SUBSTRATE S3）在没有显式形式方法指令的情况下生成产品规格。
• 识别在六个 AI 安全领域中对 Z3 SMT 求解器的趋同使用。
• 提出一个统一的底层保护框架，针对跨域的 Z3 基于验证提供通用 API。
• 在五个实现领域的 181 个测试用例上评估该框架，以衡量准确性和可靠性。
• 评估该框架发现经验测试可能遗漏的缺陷的能力。
• 报告包括零误警和零误报的实证结果。

实验结果

研究问题

• RQ1 自治系统是否在多个领域独立趋同于基于 SMT 的安全性形式化验证？
• RQ2 统一的基于 Z3 的验证 API 是否能够有效覆盖多样的输出类别？
• RQ3 对于具不受约束字符串参数的工具 API，验证性有何极限？
• RQ4 基于 SMT 的验证除了传统测试外还能带来哪些经验性收益（如缺陷检测）？

主要发现

• 在 13 天内，八个产品表现出对基于 SMT 的安全性的趋同发现，Jaccard 相似度低于 15%。
• 所提出的底层保护框架在 181 个测试用例中实现 100% 分类准确率，零误报与零漏报。
• 该框架能够发现经验测试遗漏的真实缺陷，如分支无 RISC-V 汇编中的 INT_MIN 梢 Overflow。
• 形式证明工具 API 中不受约束的字符串参数通常不可验证。