[論文レビュー] Counterfactual Conditional Likelihood Rewards for Multiagent Exploration

Ayhan Alp Aydeniz, Robert Loftin+1 more|arXiv (Cornell University)|Feb 12, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

この論文は、協調的マルチエージェント設定における_joint exploration_に対する各エージェントの独自の寄与を測定・促進する Counterfactual Conditional Likelihood (CCL) 報酬を提案し、疎報酬環境における協調と学習効率を向上させる。

ABSTRACT

Efficient exploration is critical for multiagent systems to discover coordinated strategies, particularly in open-ended domains such as search and rescue or planetary surveying. However, when exploration is encouraged only at the individual agent level, it often leads to redundancy, as agents act without awareness of how their teammates are exploring. In this work, we introduce Counterfactual Conditional Likelihood (CCL) rewards, which score each agent's exploration by isolating its unique contribution to team exploration. Unlike prior methods that reward agents solely for the novelty of their individual observations, CCL emphasizes observations that are informative with respect to the joint exploration of the team. Experiments in continuous multiagent domains show that CCL rewards accelerate learning for domains with sparse team rewards, where most joint actions yield zero rewards, and are particularly effective in tasks that require tight coordination among agents.

研究の動機と目的

• 稼働報酬が疎な多エージェントシステムにおける協調探索を促進する。
• 個々のエージェントの周辺観測だけを評価するのではなく、ジョイント探索への限界寄与を分離する。
• チーム全体の状態空間カバレッジに情報を提供する部分に焦点を当て、冗長な探索を回避する。
• ローカルエンコーダをランダムに固定し、カウンタファクト条件付けを用いてスケーラブルな推定を実現する。

提案手法

• Counterfactual Conditional Likelihood (CCL) 報酬を、実際のエージェント観測と他エージェントを条件付けたカウンタファクト観測との対数尤度の差として定義する。
• 各エージェントの観測を固定乱数エンコーダで埋め込み、それらの局所埋め込みからジョイント埋め込みを形成する。
• 埋め込みジョイント空間でのk-NN密度推定を共通半径で安定性を確保して行う。
• 条件付き対数尤度のダイガマ基の代理指標を用いてCCL報酬を計算し、安定性のためにSoftplusベースの整形を適用する。
• ジョイントとローカル探索のバランスを取る混合報酬として、ローカル観測エントロピー最大化（OEM）とCCLを組み合わせることも検討する。
• CTDE（集中訓練・分散実行）下のMAPPOで訓練し、エージェントにはLSTMベースのアーキテクチャを用いる。

Figure 1: Heat maps of agent trajectories in the multi-rover domain for coupling factor 5 with 2 POIs and 10 agents (Figure 4 ). Maps show how agents under different exploration strategies (CCL, Mixture, and Local Entropy) distribute their movements in the environment. CCL encourages more coordinate

実験結果

リサーチクエスチョン

• RQ1 CCL報酬は、局所OEMと比較して疎報酬タスクにおける探索効率を改善するか。
• RQ2 CCLは冗長な探索を削減し、補完的行動を促すことで協調品質を向上させるか。
• RQ3 混合報酬としてのOEMとCCLの組み合わせは追加の利得を生むか。
• RQ4 タスクの難易度、エージェント数、報酬の疎さに対するCCLの頑健性はどの程度か。

主な発見

• CCLは局所OEMと比較して、疎報酬のマルチローバー環境における探索を著しく改善する。
• CCLはより協調的で補完的なエージェント軌道と高いチーム報酬を生み出す。
• 混合報酬は初期の収束を速め、単純な設定ではピーク性能を高めるが、より困難な協調中心タスクでは利得が減少する。
• CCLは対立的な粒子環境を含む領域にも一般化し、エージェント数や結合要件の変動にも頑健である。

Figure 2: Comparison of exploration strategies in the multi-rover domain across different coupling factors 3, 4, and 5, with teams of 6, 8, and 10 agents, respectively. The environment has two distantly placed POIs. Results show that CCL improves coordinated behaviors and achieve higher performance