[論文レビュー] A Review of Cooperation in Multi-agent Learning

Yali Du, Joel Z. Leibo+3 more|arXiv (Cornell University)|Dec 8, 2023

Evolutionary Game Theory and Cooperation被引用数 15

ひとこと要約

本調査では協調的マルチエージェント学習（MAL）の基本概念、問題設定、アルゴリズムをレビューし、チームベースと混合動機設定、課題、ベンチマーク、および未解決の問いを網羅する。

ABSTRACT

Cooperation in multi-agent learning (MAL) is a topic at the intersection of numerous disciplines, including game theory, economics, social sciences, and evolutionary biology. Research in this area aims to understand both how agents can coordinate effectively when goals are aligned and how they may cooperate in settings where gains from working together are possible but possibilities for conflict abound. In this paper we provide an overview of the fundamental concepts, problem settings and algorithms of multi-agent learning. This encompasses reinforcement learning, multi-agent sequential decision-making, challenges associated with multi-agent cooperation, and a comprehensive review of recent progress, along with an evaluation of relevant metrics. Finally we discuss open challenges in the field with the aim of inspiring new avenues for research.

研究の動機と目的

• 学際的なMALと協調の基本概念を統合する。
• チームベースMALと混合動機MALを区別し、それぞれの固有の課題を明らかにする。
• 協調的MALを研究する際に用いられるアルゴリズム、ベンチマーク、評価指標を調査する。
• 協調AIの将来研究を刺激する未解決の課題と方向性を特定する。

提案手法

• 単一エージェント強化学習の基礎を定義し、それをマルチエージェントマルコフゲームおよびPOMGへ拡張する。
• 正式な定義（MDP/Markov games）を用いて、協調、競争、混合動機設定にMALを分類する。
• 学習パラダイム（価値ベース、方策ベース、CTDE）とチームベースの協力における代表的アルゴリズムをレビューする。
• クレジット割り当て、未知のパートナーへの一般化、混合動機MALにおける社会的ジレンマを検討する。
• MAL協調を研究するために用いられるベンチマーク、指標、評価手法を要約する。

Figure 1: A taxonomy of multi-agent systems (Schelling, 1960 ) .

実験結果

リサーチクエスチョン

• RQ1 MALにおける協力を研究する際の基本概念とフレームワークは何か？
• RQ2 チームベースと混合動機MALは目的、インセンティブ、アルゴリズムアプローチでどう異なるか？
• RQ3 協力を妨げる中心的課題（クレジット割り当て、非定常性、一般化）は何か、そしてそれらはどのように対処されているか？
• RQ4 異なる報酬構造の下で協調的MARLに最も効果的なアルゴリズムと学習パラダイムは何か？
• RQ5 協調的行動と社会的福利を最もよく捉える指標とベンチマークは何か？

主な発見

• MALにおける協力は、チームベース（共有報酬）と混合動機（個別報酬、社会的ジレンマ）フレームワークで分析される。
• 非定常性とスケーラビリティが核心的課題である。エージェント数の増加とポリシーの共適応に伴い。
• クレジット割り当てと個々の貢献の識別は、特に報酬が希薄・遅延する場合、チーム設定で困難である。
• CTDE、方策/価値ベースの手法、反事実ベースのベースラインが、スケーラブルな協調学習を実現する主要なアプローチである。
• 未知のパートナーへの一般化（アドホック・チームワーク）と利用可能性への頑健性は、混合動機MALの活発な研究領域である。

Figure 2: For a population of size $n$ , the Schelling diagram shows the payoff for an $n+1$ agent choosing to either defect or cooperate. The dotted line shows the average reward of the population.