[논문 리뷰] AgentRFC: Security Design Principles and Conformance Testing for Agent Protocols

Shenghan Zheng, Qifan Zhang|arXiv (Cornell University)|2026. 03. 25.

Mobile Agent-Based Network Management인용 수 0

한 줄 요약

논문은 6계층 에이전트 프로토콜 스택, 11불변의 보안 모델(AASM), 그리고 에이전트 프로토콜을 분석하고 테스트하기 위한 두 단계의 적합성 검사기(AgentConform)를 정의하여 크로스-프로토콜 구성 안전성 격차를 드러내고 MCP, A2A, ANP, ACP 전반의 예비 결과를 보고한다.

ABSTRACT

AI agent protocols -- including MCP, A2A, ANP, and ACP -- enable autonomous agents to discover capabilities, delegate tasks, and compose services across trust boundaries. Despite massive deployment (MCP alone has 97M+ monthly SDK downloads), no systematic security framework for these protocols exists. We present three contributions. First, the Agent Protocol Stack, a 6-layer architectural model that defines what a complete agent protocol must specify at each layer -- analogous to ITU-T X.800 for the OSI stack. Second, the Agent-Agnostic Security Model, 11 security principles formalized as TLA+ invariants, each tagged with a property taxonomy (spec-mandated, spec-recommended, aasm-hardening, aps-completeness) that distinguishes protocol non-conformance from framework-imposed security requirements. Third, AgentConform, a two-phase conformance checker that (i)extracts normative clauses from protocol specifications into a typed Protocol~IR with explicit Protocol/Environment/Adversary action separation, (ii)compiles the IR into TLA+ models and model-checks them against AASM invariants, then (iii)replays counterexample traces against live SDK implementations to confirm findings. We introduce the Composition Safety (CS) principle: security properties that hold for individual protocols can break when protocols are composed through shared infrastructure. We demonstrate this with formal models of five protocol composition patterns, revealing cross-protocol design gaps that individual protocol analysis cannot detect. Preliminary application to representative agent protocols reveals recurrent gaps in credential lifecycle, consent enforcement, audit completeness, and composition safety. Some findings are under coordinated disclosure; full evaluation details will be released in the complete version.

연구 동기 및 목표

• 전통적인 암호학을 넘어서는 의미적 속성을 포착하는 AI 에이전트 프로토콜에 대한 형식적 보안 프레임워크를 제안한다.
• 계층 전반에서 프로토콜 완전성이 무엇을 의미하는지 자세히 다루는 완전한 아키텍처 모델(APS)을 정의한다.
• TLA+로 표현된 AASM 불변식을 통해 특정 프로토콜에 의존하지 않는 보안 보장을 형식화한다.
• normative 조항을 실행 가능한 테스트 및 실시간 구현으로 추적하는 두 단계 적합성 검사기 AgentConform을 개발한다.
• 공유 브리지와 도관을 통해 상호 작용하는 여러 에이전트 프로토콜 간의 구성 안전성 위험을 시연한다.

제안 방법

• 6계층의 에이전트 프로토콜 스택(APS)을 도입하고 MCP, A2A, ANP, ACP를 그 계층에 대해 평가한다.
• 위반을 분류하기 위한 분류법과 함께 11개의 Agent-Agnostic Security Model(AASM) 불변식을 TLA+로 형식화한다.
• (i) 규범적 조항을 추출하고, (ii) 형식화된 Protocol IR로 변환하고, (iii) TLA+ 모델을 생성하고, (iv) AASM에 대해 모델 체크하며, (v) 라이브 SDK에서 반례를 재생하는 AgentConform을 구축한다.
• 적대적 능력을 나타내기 위해 ADV-1/2/3 공격자 행동이 포함된 Dolev-Yao+LLM 위협 모델을 사용한다.
• 다섯 가지 구성 모델들을 통해 교차-프로토콜 구성을 분석하여 구성 안전성(CS) 위반을 확인한다.
• Phase 1(스펙 수준)과 Phase 2(구현 수준) 분석의 예비 결과를 포함하고, 산출물 및 공개 고려사항을 제시한다.

실험 결과

연구 질문

• RQ1 전통적인 전송 계층 보안을 넘는 AI 에이전트 프로토콜에 필요한 보안 속성은 무엇인가?
• RQ2 다중 에이전트 프로토콜에 걸쳐 이러한 속성을 어떻게 단일 모델로 형식화하고 검증할 수 있는가?
• RQ3 교차 프로토콜 구성은 개별 프로토콜을 독립적으로 분석하는 것으로는 탐지되지 않는 보안 격차를 도입하는가?
• RQ4 두 단계 적합성 워크플로우가 추상 명세를 구체적 SDK 구현과 효과적으로 연결할 수 있는가?
• RQ5 현재의 MCP, A2A, ANP, ACP 에이전트 프로토콜에서 일반적인 구성 안전성 위험은 무엇이며 이를 어떻게 완화할 수 있는가?

주요 결과

• APS는 네 가지 프로토콜에서 전송 보안이 완전하고 상위 계층에서 격차가 나타난다.
• AASM은 11개의 불변식(8개의 보안 속성 + 3개의 완전성 속성)을 형식화하고, 위반을 톺아보는 분류법(spec-mandated, spec-recommended, aasm-hardening, aps-completeness)을 사용한다.
• AgentConform은 Phase 1에서 5×11 스펙 레벨 위반 매트릭스(33위반), Phase 2에서 42개의 구현 레벨 테스트를 산출한다.
• 다섯 가지 구성 모델은 20개의 구성-안전 위반을 드러내며, 교차-프로토콜 프롬프트/위임 증폭이 CS 위험을 보여준다.
• 구성 안전성은 교차 프로토콜 설계 격차가 다리들을 통해 전파되어 단일 프로토콜 분석으로는 탐지되지 않으며, 체인형 서버 패턴이 높은 위험으로 나타난다.
• 책임 있는 공개 및 완화 가이드의 예비 논의가 있으며, 전체 버전과 함께 전체 평가 세부사항이 공개될 예정이다.