[논문 리뷰] ALARA for Agents: Least-Privilege Context Engineering Through Portable Composable Multi-Agent Teams

Christopher J. Agostino, Nayan D'Souza|arXiv (Cornell University)|2026. 03. 20.

Multi-Agent Systems and Negotiation인용 수 0

한 줄 요약

논문은 선언적 CAT 데이터 계층(context-files, NPCs, and Jinxes)와 npcsh 셸을 도입해 최소 권한, 휴대 가능한 다중 에이전트 도구 사용을 강제하고, 22개의 로컬 호스트 모델에서 테스트한 115-task 벤치마크를 제공합니다.

ABSTRACT

Industry practitioners and academic researchers regularly use multi-agent systems to accelerate their work, yet the frameworks through which these systems operate do not provide a simple, unified mechanism for scalably managing the critical aspects of the agent harness, impacting both the quality of individual human-agent interactions and the capacity for practitioners to coordinate toward common goals through shared agent infrastructure. Agent frameworks have enabled increasingly sophisticated multi-agent systems, but the behavioral specifications that define what these agents can do remain fragmented across prose instruction files, framework-internal configuration, and mechanisms like MCP servers that operate separately from individual agent definitions, making these specifications difficult to share, version, or collaboratively maintain across teams and projects. Applying the ALARA principle from radiation safety (exposures kept as low as reasonably achievable) to agent context, we introduce a declarative context-agent-tool (CAT) data layer expressed through interrelated files that scope each agent's tool access and context to the minimum its role requires, and exttt{npcsh}, a command-line shell for executing it. Because the system parses and enforces these files structurally, modifying an agent's tool list produces a guaranteed behavioral change rather than a suggestion the model may or may not follow. We evaluate 22 locally-hosted models from 0.6B to 35B parameters across 115 practical tasks spanning file operations, web search, multi-step scripting, tool chaining, and multi-agent delegation, characterizing which model families succeed at which task categories and where they break down across $\sim$2500 total executions.

연구 동기 및 목표

• 현재 에이전트 해스(harnesses)의 단편화를 신뢰성과 보안에 대한 위험으로 제시(프로즈 파일, 프레임워크 코드, MCPs).
• 도구 접근 및 맥락을 구조적으로 명시하고 강제하기 위한 선언적 데이터 계층(CAT)을 제안합니다.
• 에이전트, 도구 및 워크플로를 결정론적 실행 그래프와 함께 정의하기 위해 NPC 파일과 Jinxes를 도입합니다.
• 모델과 패밀리 전체에 걸친 도구 사용을 평가하기 위한 오픈 소스 구현과 115-task 벤치마크를 제공합니다.

제안 방법

• 팀, 에이전트, 도구 카탈로그를 상호 연관된 YAML 산물로 표현하기 위해 context files, NPC files, Jinxes로 구성된 CAT 데이터 계층을 정의합니다.
• Jinxes를 실행 가능한 YAML 정의로 사용하여 일련의 단계와 엔진 유형을 명시하고 도구의 DAG형 구성을 가능하게 합니다.
• NPC 리스트를 통해 NPC 도구 카탈로그와 권한을 바인딩하여 프롬프트 내용과 무관하게 최소 권한 도구 접근을 강제합니다.
• 에이전트와 팀을 구성하여 하위 팀, 오케스트레이터, 위임 워크플로를 지원하고 맥락과 이력을 효율적으로 관리합니다.
• 명령 줄 셸(npcsh) 및 여러 인터페이스를 구현하여 선언적 명세를 환경 간에 일관되게 실행합니다.

Figure 2: Benchmark score versus parameter count across model families.

실험 결과

연구 질문

• RQ1 파일 기반의 선언적 CAT 데이터 계층이 다양한 모델 패밀리에서 LLM 에이전트에 대한 최소 권한 도구 접근을 강제할 수 있습니까?
• RQ2 도구와 맥락의 구조적 스코핑이 다중 에이전트 워크플로의 신뢰성, 보안 및 위임에 어떤 영향을 미칩니까?
• RQ3 다양한 벤치마크에서 카탈로그 크기와 모델 패밀리가 에이전트 성능 및 작업 성공률에 미치는 영향은 무엇입니까?
• RQ4 다양한 작업 범주(웹 검색, 위임, 다단계 스크립팅 등)가 재시도 값 및 도구 사용 효율성에 어떤 영향을 미칩니까?
• RQ5 일반적인 언어 능력(예: MMLU)과 도구 사용 작업 전반에 걸친 에이전트 성능 간의 관계는 무엇입니까?

주요 결과

• 도구 사용의 신뢰성은 가족 간 분산이 큰 고유한 학습 능력으로, 가족 간 차이가 동일 가족 내 스케일링을 지배할 수 있습니다.
• 도구 사용을 위해 학습된 모델은 4B 파라미터에 도달해 도구 사용을 학습하지 않은 모델이 27B에서나 도달하는 점수를 달성할 수 있으며, 이는 도구 사용에 대한 학습이 규모보다 일부 범위에서 더 중요함을 시사합니다.
• 일반 능력(MMLU)과 에이전트 성능 간에 강한 양의 상관관계가 있으며, 도구 사용으로의 전이가 특히 강하거나 약한 주목할 만한 이상치가 있습니다.
• 작업당 평균 도구 호출 수가 에이전트 성능을 강하게 예측하며(대략 r = 0.7), 작업 지속 시간이나 재시도 횟수보다 더 큰 예측력을 보입니다.
• 성공적인 작업 완료의 약 80%가 첫 시도에 발생합니다; 재시도 가치는 범주에 따라 다르며 웹 검색에서는 약 20 포인트, 위임에서는 약 3 포인트입니다.
• 위임은 모델 패밀리 전체에서 가장 어려운 범주이며, 위임에 대한 재시도 이득이 제한적이므로 맥락 누적이 수렴을 방해할 수 있음을 시사합니다.

Figure 3: Agency (npcsh score) versus intelligence (MMLU). The regression line ( $r\approx 0.8$ ) with $1\sigma$ band; outliers beyond $1\sigma$ are labeled.