[論文レビュー] ALARA for Agents: Least-Privilege Context Engineering Through Portable Composable Multi-Agent Teams
要約: 論文は宣言型 CAT データ層(コンテキストファイル、NPC、Jinxes)と least-privilege を強制する npcsh シェルを導入し、115-task ベンチマークを22のローカルホストモデルで検証します。
Industry practitioners and academic researchers regularly use multi-agent systems to accelerate their work, yet the frameworks through which these systems operate do not provide a simple, unified mechanism for scalably managing the critical aspects of the agent harness, impacting both the quality of individual human-agent interactions and the capacity for practitioners to coordinate toward common goals through shared agent infrastructure. Agent frameworks have enabled increasingly sophisticated multi-agent systems, but the behavioral specifications that define what these agents can do remain fragmented across prose instruction files, framework-internal configuration, and mechanisms like MCP servers that operate separately from individual agent definitions, making these specifications difficult to share, version, or collaboratively maintain across teams and projects. Applying the ALARA principle from radiation safety (exposures kept as low as reasonably achievable) to agent context, we introduce a declarative context-agent-tool (CAT) data layer expressed through interrelated files that scope each agent's tool access and context to the minimum its role requires, and \texttt{npcsh}, a command-line shell for executing it. Because the system parses and enforces these files structurally, modifying an agent's tool list produces a guaranteed behavioral change rather than a suggestion the model may or may not follow. We evaluate 22 locally-hosted models from 0.6B to 35B parameters across 115 practical tasks spanning file operations, web search, multi-step scripting, tool chaining, and multi-agent delegation, characterizing which model families succeed at which task categories and where they break down across $\sim$2500 total executions.
研究の動機と目的
- 現在のエージェントハーネス(文章ファイル、フレームワークコード、MCPs)の断片化は信頼性とセキュリティへのリスクであると動機づける。
- ツールアクセスとコンテキストを構造的に指定・強制する宣言型データ層(CAT)を提案する。
- NPCファイルとJinxesを導入し、エージェント、ツール、ワークフローを決定論的実行グラフとして定義する。
- オープンソース実装と115タスクのベンチマークを提供し、モデルとファミリ間でのツール使用を評価する。
提案手法
- CATデータ層を、コンテキストファイル、NPCファイル、Jinxesから成るツールカタログを相互関連のYAMLアーティファクトとして表現する。
- Jinxesを実行可能なYAML定義として使用し、手順の連続とエンジンタイプを指定し、ツールのDAG的構成を可能にする。
- NPCリストを介してNPCツールカタログと権限を結び付け、プロンプト内容に関係なく最小権限のツールアクセスを強制する。
- サブチーム、オーケストレーター、委任ワークフローをサポートするようにエージェントとチームを整理し、コンテキストと履歴を効率的に管理する。
- 宣言的仕様を一貫して実行するためのコマンドラインシェル(npcsh)と複数のインターフェースを実装する。

実験結果
リサーチクエスチョン
- RQ1宣言的でファイルベースの CAT データ層は、様々なモデルファミリに対して LLMエージェントの最小権限ツールアクセスを強制できるか?
- RQ2ツールとコンテキストの構造的スコーピングは、マルチエージェントワークフローにおける信頼性・セキュリティ・委任にどのような影響を与えるか?
- RQ3カタログのサイズとモデルファミリが、様々なベンチマーク全体でエージェント性能とタスク成功率に与える影響は?
- RQ4異なるタスクカテゴリ(ウェブ検索、委任、複数ステップのスクリプト作成など)はリトライ価値とツール使用効果にどのように影響するか?
- RQ5一般的な言語能力(例:MMLU)とツール使用タスクでのエージェント性能の関係は?
主な発見
- ツール使用の信頼性は学習済み能力として独立した特性であり、ファミリ間の大きなばらつきを持ち、同ファミリ内のスケーリングを支配する可能性がある。
- ツール使用のために訓練されたモデルは、27Bで達成される非ツール訓練モデルが達成するレベルに対して、4Bパラメータのモデルでも達成できるスコアを示し、ツール使用の訓練が一部レンジでは規模より重要であることを示唆する。
- 一般的な能力(MMLU)とエージェント性能の間には強い正の相関があり、ツール使用への移行が特に強くも弱くもなるアウトライヤーが存在する。
- タスクごとの平均ツール呼び出し回数はエージェント性能を強く予測しており(約 r = 0.7)、タスク実行時間やリトライ回数よりも影響が大きい。
- タスクの約80%の成功は初回試行で完了する。リトライ価値はカテゴリによって異なり、ウェブ検索で約20ポイント、委任で約3ポイント程度。
- 委任はモデルファミリ全体で最も難しいカテゴリであり、委任に対しては高いリトライ利得が限定的で、コンテキスト蓄積が収束を妨げる可能性を示唆する。

より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。