[論文レビュー] Who Deserves the Reward? SHARP: Shapley Credit-based Optimization for Multi-Agent System

Yanming Li, Xuelin Zhang+12 more|arXiv (Cornell University)|Feb 9, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

SHARPはShapleyベースの階層的クレジット割り当てと旅三部構成報酬設計を導入し、ツール拡張型マルチエージェントLLMシステムの学習を安定化・改善、単一エージェントおよび他のマルチエージェントベースラインより大幅な改善を実現します。

ABSTRACT

Integrating Large Language Models (LLMs) with external tools via multi-agent systems offers a promising new paradigm for decomposing and solving complex problems. However, training these systems remains notoriously difficult due to the credit assignment challenge, as it is often unclear which specific functional agent is responsible for the success or failure of decision trajectories. Existing methods typically rely on sparse or globally broadcast rewards, failing to capture individual contributions and leading to inefficient reinforcement learning. To address these limitations, we introduce the Shapley-based Hierarchical Attribution for Reinforcement Policy (SHARP), a novel framework for optimizing multi-agent reinforcement learning via precise credit attribution. SHARP effectively stabilizes training by normalizing agent-specific advantages across trajectory groups, primarily through a decomposed reward mechanism comprising a global broadcast-accuracy reward, a Shapley-based marginal-credit reward for each agent, and a tool-process reward to improve execution efficiency. Extensive experiments across various real-world benchmarks demonstrate that SHARP significantly outperforms recent state-of-the-art baselines, achieving average match improvements of 23.66% and 14.05% over single-agent and multi-agent approaches, respectively.

研究の動機と目的

• ツール統合型MASにおけるクレジット割り当て課題に対処する。
• 個々のエージェントの貢献を分離しつつ、全体タスクの整合性を保証する principledな報酬分解を設計する。
• Shapleyベースの限界クレジットと三部構成報酬フレームワークを通じて、マルチエージェント学習を安定化・加速する。
• 異なるベンチマークとモデルサイズにわたるクロス-task一般化とスケーラビリティを実証する。

提案手法

• SHARPを提案する。Shapleyベースの階層的帰属フレームワークで、三部構成報酬設計：グローバルブロードキャッシュ精度、限界クレジット（Shapleyベース）報酬、ツールプロセス報酬。
• 軌跡からエージェントを除去して因果影響を評価する反事実マスキング機構を用いる。
• 軌跡グループ間でエージェント固有のアドバンテージを正規化し、低分散で一貫した勾配更新を達成する（グループ相対ポリシー勾配）。
• プランナーとワーカを単一ポリシーからロールプロンプトでインスタンス化するパラメータ共有自己対戦設定を採用する。
• 軌跡の破壊的削除を用いた反事実クレジット形式で限界クレジットを近似する（credit_i,m = R_acc(τ_i) − R_acc(τ_i ackslash m)）。
• 複数の軌跡に渡るエージェントごとのクリップされたアドバンテージを統合するSHARP目的関数で学習する。

Figure 1 : Existing credit assignment policy for all agents (left) and the precise strategy of SHARP for each individual agent (right).

実験結果

リサーチクエスチョン

• RQ1 SHARPは diverse benchmarks で単一エージェントおよびマルチエージェントのベースラインと比較してどう性能するか？
• RQ2 限界クレジットモデリングが性能に与える影響は何か、どの構成要素が改善に最も寄与するか？
• RQ3 タスクの異種性、モデルサイズ、トレーニング予算に対してSHARPはどの程度安定・スケーラブルか？
• RQ4 プランナー–ワーカーの協調とサブエージェントの有用性にSHARPがどう影響するか？

主な発見

Method	MAS	TRN	BOR	MCR	MuSiQue	GAIA-text	WebWalkerQA	FRAMES	AVG
LLaMA-3.1-8B RAG	✗	✗	✗	✗	7.20	8.82	0.77	5.81	5.65
Qwen3-8B RAG	✗	✗	✗	✗	8.60	15.40	1.23	6.78	8.00
Plan-Search †	✗	✗	✗	✗	26.66	10.04	3.32	10.76	12.70
Plan-Search	✗	✗	✗	✗	36.35	27.48	6.77	28.48	24.77
Search-R1 ‡	✗	✓	✗	✗	18.11	14.15	2.30	11.30	11.47
Single-agent GRPO	✗	✓	✗	✗	45.93	27.97	7.47	30.20	27.89
Planner–Worker †	✓	✗	✗	✗	35.22	13.36	5.57	21.21	18.84
Planner–Worker	✓	✗	✗	✗	38.23	27.53	7.42	32.18	26.34
G-Designer	✓	✗	✗	✗	38.50	28.15	4.70	28.28	24.90
CARD	✓	✓	✗	✗	45.00	32.89	7.38	27.31	28.15
COA	✓	✓	✗	✗	44.28	32.00	7.22	32.10	28.90
AceSearcher †	✓	✓	✗	✗	36.41	20.05	7.04	27.38	22.72
MATPO	✓	✓	✗	✗	47.00	31.65	7.47	37.10	30.81
SHARP †	✓	✓	✓	✓	46.14	23.23	7.60	25.71	25.67
SHARP	✓	✓	✓	✓	50.76	33.70	8.50	37.29	32.56

• SHARPはベースラインより平均パフォーマンスが高く、ベースライン単一エージェントに対して平均マッチゲイン23.66%、マルチエージェントに対して14.05%の改善をベンチマーク全体で達成。
• 限界クレジットモデリングは一貫して最も良い全体性能をもたらし、アーキテクチャと最適化戦略を上回る。
• SHARPはモデルサイズ（例: 0.6B〜8Bバックボーン）に対して効果的にスケールし、より大きなスケールでより大きな利点を提供（8Bバックボーンで最大14.41ポイント）。
• 協調分析はSHARPがプランナーのスコアを改善し、有用なサブエージェントの割合を増加させつつ有害な相互作用を減少させることを示す。
• SHARPはクロス-task一般化（DocMath-Eval）とステップごとの堅牢で単調なトレーニング改善を示し、安定した最適化を示唆する。
• アブレーションは共同プランナー–ワーカクレジットが相乗効果を生み、プランナークレジットが分解を精練し、ワーカクレジットが実行とツール使用を改善することを示す。

Figure 2 : Overview of SHARP framework. The pipeline involves (a) hierarchical interaction between planner and worker agents via a shared policy; (b) tripartite reward system integrating global accuracy, marginal credit, and tool process rewards; (c) marginal credit mechanism isolating agents’ contr