[논문 리뷰] Safety is Non-Compositional: A Formal Framework for Capability-Based AI Systems

Cosimo Spera|arXiv (Cornell University)|2026. 03. 16.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

이 논문은 안전성이 AND-의미론 하에서 비합성적임을 증명하고, 모델링을 위한 directed hypergraphs를 도입하며, 안전한 취득을 인증하는 다항 시간의 Safe Audit Surface를 제시한다.

ABSTRACT

This paper contains the first formal proof that safety is non-compositional in the presence of conjunctive capability dependencies: two agents each individually inca- pable of reaching any forbidden capability can, when combined, collectively reach a forbidden goal through an emergent conjunctive dependency.

연구 동기 및 목표

• 합성 의존성을 가진 모듈형 AI 시스템에서 안전성의 비합성성에 대한 동기 부여와 이를 형식화한다.
• 전통 그래프에 존재하지 않는 AND-의미를 포획하기 위해 capabilities의 directed hypergraph 모델을 도입한다.
• 증명 가능한 정확성과 복잡도 보장을 갖는 closure 기반 계획 알고리즘을 개발한다.
• 안전 경계, emergent capabilities를 특징짓고 배포를 위한 인증 가능한 감사 도구를 제공한다.
• 실제 다중 도구 궤적에서 프레임워크를 경험적으로 검증하고 확장 및 해결해야 할 문제를 논의한다.

제안 방법

• 모듈들을 directed hypergraph로 모델링하고 하이퍼에지가 모든 선행 조건이 충족될 때에만 작동하도록 한다.
• 안전성의 비합성 증명: 안전한 집합의 합집합이 불안정해질 수 있음을 보이는 최소의 엄밀한 반례(Theorem 9.2).
• Hypergraph에 Closure 연산자를 정의하고 계획이 O(n + m k) 작업 목록 복잡도로 고정점 Horn-절 계산에 해당 함을 증명한다.
• 목표 발견 구조( emergent capabilities, near-miss frontier, acquisition distance)를 도입하고 Closure 이득의 부분모듈성에 대해 탐욕적 1-1/e 보장이 있는 것을 증명한다.
• 계산복잡도 결과를 확립: emergent capability 탐지의 P-완전성 및 최소 unsafe set 소속의 코NP-완전성; 인증 가능한 안전 매핑을 위한 Safe Audit Surface 정리.
• 프레임워크를 합력 안전(coalition safety), 동적 hypergraphs, 및 PAC-learning 고려 사항으로 확장하고 실제 데이터 세트로 경험적 검증을 제공한다.

실험 결과

연구 질문

• RQ1 다수의 능력 있는 에이전트를 conjunctive prerequisites를 가질 때 안전성이 보장될 수 있는가?
• RQ2 AND-의미를 포착하기 위해 전통적인 그래프를 넘는 능력 의존성을 어떻게 모델링할 수 있는가?
• RQ3 안전한 능력 획득을 인증하는 알고리즘은 무엇이며 어떤 보장을 제공하는가?
• RQ4 이러한 프레임워크에서 emergent capabilities와 unsafe set의 탐지의 계산적 처리 가능성은 어느 정도인가?
• RQ5 모형이 실제 세계의 궤적과 얼마나 잘 일치하며 동역학 및 학습을 위한 어떤 확장이 필요한가?

주요 결과

• 합성적 의존 하에서 안전성은 비합성적이다; 두 개의 안전한 에이전트가 함께 금지된 능력을 가능하게 할 수 있다(Theorem 9.2).
• 능력 하이퍼그래프 모델은 능력 그래프를 일반화한다; 그래프는 특수한 경우로 포함되지만 AND-의미론은 emergent 위험을 포착하는 데 필수적이다.
• Closure 기반 계획은 O(n + m k)의 선형로그 수준의 비용으로 고정점 계산으로 환원된다.
• Emergent capability 탐지는 P-완전이고, 최소 unsafe set 소속은 코NP-완전이며 확장성에 대한 오프라인/온라인 트레이드오프를 시사한다.
• Safe Audit Surface는 안전하게 취득 가능한 능력, near-miss 기회, never-reachable 능력의 다항 시간 인증 가능한 매핑을 제공한다(Theorem 10.2).
• 실험적 검증에서 실제 다도구 궤적의 42.6%에 conjunctive dependencies가 포함됨(95% CI: [39.4%, 45.8%]); 하이퍼그래프 플래너는 모든 traces에서 0개의 AND-위반을 보였고, 워크플로우 기준은 38.2%의 위반을 보였다.