[論文レビュー] Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot

Joel Z. Leibo, Edgar A. Duéñez‐Guzmán+8 more|arXiv (Cornell University)|Jul 14, 2021

Reinforcement Learning in Robotics被引用数 23

ひとこと要約

Melting Pot は、事前学習済みの 'バックグラウンド集団' を用いて多様でゼロショットのテスト状況を生成するスケーラブルなマルチエージェント強化学習（MARL）評価スイートであり、堅牢な一般化評価を可能にする。この研究では、新しい社会的文脈において、個々の報酬を最大化することが集団報酬を最大化するのと比べて、より堅牢な方策をもたらすことがあることが明らかになった。

ABSTRACT

Existing evaluation suites for multi-agent reinforcement learning (MARL) do not assess generalization to novel situations as their primary objective (unlike supervised-learning benchmarks). Our contribution, Melting Pot, is a MARL evaluation suite that fills this gap, and uses reinforcement learning to reduce the human labor required to create novel test scenarios. This works because one agent's behavior constitutes (part of) another agent's environment. To demonstrate scalability, we have created over 80 unique test scenarios covering a broad range of research topics such as social dilemmas, reciprocity, resource sharing, and task partitioning. We apply these test scenarios to standard MARL training algorithms, and demonstrate how Melting Pot reveals weaknesses not apparent from training performance alone.

研究の動機と目的

• マルチエージェント強化学習（MARL）における標準化され、一般化を焦点としたベンチマークの不足を解消し、類似のアルゴリズム同士の比較を可能にする。
• マルチエージェント間の相互作用を活用することで、テスト環境の作成にかかる人的労力を削減する。ここで、1つのエージェントの行動が他のエージェントの環境を形作る。
• テスト状況が '基盤 + バックグラウンド集団' の形式によって構築されるベンチマークを確立し、訓練済みエージェントのゼロショット評価を保証する。
• 社会的ジレンマ、報酬のやり取り、リソース共有、タスク分割といった、広範なMARL研究分野をカバーする。
• 未確認の社会的ダイナミクスを用いた一般化性能の測定が、標準的な訓練性能では見えない弱みを暴露できることを示す。

提案手法

• コアとなる手法は、固定された環境レイアウトとルールを持つ '基盤' と、固定された方策を持つ事前学習済みエージェント集団である 'バックグラウンド集団' を組み合わせ、テスト状況を構築することである。
• バックグラウンド集団は独立に訓練され、評価中にファインチューニングされないため、未知の社会的相互作用に対するゼロショット一般化が保証される。
• 各状況は、新しい不慣れなバックグラウンド集団に置き換えることで、一般化をテストするように設計されている。
• 評価は完全にテスト時のみに限定され、訓練手法は中立的であるため、任意のMARLアルゴリズムが同一のプロトコルで評価可能である。
• バックグラウンド集団を異なる基盤に再利用することで、スケーラブルに多様なテスト状況を生成できる。
• この手法は、ImageNet などの教師あり学習ベンチマークをインspiredとしているが、エージェントを動的かつ変化するテスト環境として用いる点でMARLに適応されている。

実験結果

リサーチクエスチョン

• RQ1 人的労力を削減しつつ、スケーラブルで一般化を焦点としたマルチエージェント強化学習（MARL）のベンチマークを構築できるか？
• RQ2 未知の社会的相互作用へのゼロショット一般化において、MARLアルゴリズムの性能は、未確認のバックグラウンド集団での性能によってどのように測定されるか？
• RQ3 集団報酬を最大化することは、個々の報酬を最大化するのと比べて、新しい社会的状況においてより堅牢な方策を生み出すか？
• RQ4 標準的なMARL訓練目的が、社会的ダイナミクスの変化に対する耐性を十分に捉えていない程度はどの程度か？
• RQ5 マルチエージェントシステムは、相互依存性を通じて自然に多様なテスト環境を生成でき、手作業による環境設計の必要性を減らせるか？

主な発見

• 個々の報酬を最大化することが、集団報酬を最大化する方策よりも、新しい社会的状況への一般化をより良く行うことがある。
• Commons Harvest シナリオでは、個々の報酬最大化がSC5テストで71.6％の成功率を達成した一方、集団報酬は38.7％にとどまった。
• King of the Hill シナリオでは、個々の報酬で訓練された方策が、SC1で627.8％の報酬を達成したのに対し、集団報酬は-3.2％にとどまった。
• Stag Hunt と Prisoner's Dilemma シナリオでは、個々の報酬方策が裏切りや協力不能の影響に対してより回復力を持っていた。
• Territory シナリオでは、個々の報酬方策がSC1で273.4％の報酬を達成し、集団報酬方策を大きく上回った。
• 結果から、集団報酬最大化が新しい社会的ダイナミクスへの一般化を保証するわけではないことが明らかになり、むしろその一般化を損なう可能性があることが示された。