[論文レビュー] Learning Decentralized LLM Collaboration with Multi-Agent Actor Critic

Shuo Liu, Tianle Chen+2 more|arXiv (Cornell University)|Jan 29, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

要約: 本論文は二つのマルチエージェントアクター-クリティック手法、CoLLM-CC（中央クリティック）と CoLLM-DC（分散クリティック）を提案し、分散化された LLM 協調を最適化する。 Monte Carlo 法と比較して、執筆・コーディング・ゲームタスクで評価。CoLLM-CC は長期的あるいは報酬が薄いタスクで一般に他手法を上回り、CoLLM-DC は密度の高く短期的なタスク設定で競争力のある結果を提供。

ABSTRACT

Recent work has explored optimizing LLM collaboration through Multi-Agent Reinforcement Learning (MARL). However, most MARL fine-tuning approaches rely on predefined execution protocols, which often require centralized execution. Decentralized LLM collaboration is more appealing in practice, as agents can run inference in parallel with flexible deployments. Also, current approaches use Monte Carlo methods for fine-tuning, which suffer from high variance and thus require more samples to train effectively. Actor-critic methods are prevalent in MARL for dealing with these issues, so we developed Multi-Agent Actor-Critic (MAAC) methods to optimize decentralized LLM collaboration. In this paper, we analyze when and why these MAAC methods are beneficial. We propose 2 MAAC approaches, \textbf{CoLLM-CC} with a \textbf{C}entralized \textbf{C}ritic and \textbf{CoLLM-DC} with \textbf{D}ecentralized \textbf{C}ritics. Our experiments across writing, coding, and game-playing domains show that Monte Carlo methods and CoLLM-DC can achieve performance comparable to CoLLM-CC in short-horizon and dense-reward settings. However, they both underperform CoLLM-CC on long-horizon or sparse-reward tasks, where Monte Carlo methods require substantially more samples and CoLLM-DC struggles to converge. Our code is available at https://github.com/OpenMLRL/CoMLRL/releases/tag/v1.3.6.

研究の動機と目的

• 複数の LLM エージェントが中央実行制約なしに分散協調を促進・実現する動機づけと実現方法。
• Monte Carlo ベースのベースラインと比較して、マルチエージェントアクター-クリティック手法がファインチューニングをいつ・なぜ改善するのかを分析。
• 二つの MAAC ベースのフレームワーク、CoLLM-CC（中央クリティック）と CoLLM-DC（分散クリティック）を提案。
• 執筆・コーディング・ゲームプレイ領域での性能を評価し、長所と限界を特定。

提案手法

• 分散化 LLM 協調を最適化して RL ファインチューニングを実現する MAAC 手法を開発。
• 中央クリティックを備える CoLLM-CC を導入し、ジョイント履歴値を推定。
• 個々の履歴値を推定する分散クリティックを備える CoLLM-DC を導入。
• 長い対話履歴を扱うために KV キャッシュを用いた Transformer ベースの履歴表現を使用。
• Teacher-Forced (TF) のフォワードパスを適用してマクロアクション（応答全体）に対するシーケンスレベルの確率を計算。
• MAAC アプローチの理論分析を提供し、バイアス/分散の考慮と安定性を議論。

実験結果

リサーチクエスチョン

• RQ1 分散化 LLM 協調において MAAC 手法が Monte Carlo ベースのファインチューニングを上回る条件はどのようなものか？
• RQ2 中央クリティックと分散クリティックは、短期・長期タスクにおける学習効率・収束・性能にどのような影響を与えるか？
• RQ3 異なるドメインにおける CoLLM-CC と CoLLM-DC のサンプル効率・収束・拡張性のトレードオフは何か？
• RQ4 CoLLM-CC と CoLLM-DC は訓練時に分散実行を維持しつつ、実行時の分散性は保たれるのか？
• RQ5 履歴表現（KV キャッシュ）が学習と性能にどう影響するか？

主な発見