[論文レビュー] Prosocial learning agents solve generalized Stag Hunts better than selfish ones

Alexander Peysakhovich, Adam Lerer|arXiv (Cornell University)|Sep 8, 2017

Evolutionary Game Theory and Cooperation被引用数 14

ひとこと要約

本稿では、一般化されたスティグ・フンゲームにおいて、他のエージェントが反応的強化学習を使用している場合でも、単一のエージェントに利他的行動を促す（相手の報酬を考慮するように報酬関数を変更する）ことで、高報酬均衡へのグループの収束確率が顕著に向上することを提案している。主な結果は、関数近似を伴う行列形式および複雑なマルコフゲームの両方において、利他的行動が効率的Outcomeの吸引域を拡大することにある。

ABSTRACT

Deep reinforcement learning has become an important paradigm for constructing agents that can enter complex multi-agent situations and improve their policies through experience. One commonly used technique is reactive training - applying standard RL methods while treating other agents as a part of the learner's environment. It is known that in general-sum games reactive training can lead groups of agents to converge to inefficient outcomes. We focus on one such class of environments: Stag Hunt games. Here agents either choose a risky cooperative policy (which leads to high payoffs if both choose it but low payoffs to an agent who attempts it alone) or a safe one (which leads to a safe payoff no matter what). We ask how we can change the learning rule of a single agent to improve its outcomes in Stag Hunts that include other reactive learners. We extend existing work on reward-shaping in multi-agent reinforcement learning and show that that making a single agent prosocial, that is, making them care about the rewards of their partners can increase the probability that groups converge to good outcomes. Thus, even if we control a single agent in a group making that agent prosocial can increase our agent's long-run payoff. We show experimentally that this result carries over to a variety of more complex environments with Stag Hunt-like dynamics including ones where agents must learn from raw input pixels.

研究の動機と目的

• 一般和ゲーム（特にスティグ・フンゲーム）における非効率な均衡選択の課題に取り組む。
• 他のエージェントが反応的トレーニングを使用する状況で、単一エージェントの学習ルールを変更することで集団的成果がどのように向上するかを調査する。
• エージェントが相手の報酬を重視するように報酬形状を施す「利的報酬形状」が、より良い協調性と長期的報酬をもたらすかどうかを検討する。
• 単純な行列形式ゲームから、生のピクセル入力と関数近似を伴う複雑な環境への発展を検討する。
• 利的行動の強さが異なるゲームダイナミクスおよび学習アーキテクチャにおいてどのように影響を受けるかを評価する。

提案手法

• エージェントの報酬関数を変更し、自身の報酬と相手の報酬の重み付き和を含めるように報酬形状を適用する。
• すべてのエージェントに対して独立したマルチエージェント強化学習（独立MARL）を用い、他のエージェントを環境の一部として扱う。
• 生のピクセル観測を持つ環境で、深層Qネットワーク（DQN）およびデュイングDQNアーキテクチャを用いてエージェントをトレーニングする。
• ハイパーパramータ α を導入し、エージェントの目的関数における相手の報酬の重みを制御する。
• 報酬優位性、リスク優位性、吸引域の大きさといった指標を用いて均衡への収束を評価する。
• 確率的ダイナミクスを伴う行列形式のスティグ・フンゲームおよび複雑なマルコフゲームにおいて、利的エージェントと自己中心的エージェントを比較する。

実験結果

リサーチクエスチョン

• RQ1 単一エージェントにおける利的報酬形状が、スティグ・フンゲームにおける報酬優位な均衡へのグループ収束確率を向上させるか？
• RQ2 生の入力（例：ピクセル）と関数近似を伴う複雑な環境でも、利的行動は有効に機能するか？
• RQ3 自己中心的学習と比較して、利的行動は効率的均衡の吸引域の大きさにどのように影響するか？
• RQ4 スティグ・フンゲーム以外の環境、例えば社会的ジレンマでは、利的行動のトレードオフは何か？
• RQ5 均衡外のダイナミクスおよび関数近似は、利的報酬形状の有効性にどのように影響を与えるか？

主な発見

• 反応的学習者からなるグループが行列形式のスティグ・フンゲームにおいて報酬優位な均衡に収束する確率が、利的エージェントによって顕著に向上する。
• 利的変更により、報酬が高い均衡への吸引域が拡大され、初期条件に依存せず効率的Outcomeに到達する可能性が高まる。
• 生のピクセル入力を持つ複雑なマルコフゲームにおいても、利的エージェントは自己中心的エージェントを上回り、困難な探索条件下でも高報酬戦略への協調を達成する。
• 利的行動の恩恵は、異なるアーキテクチャおよび学習ダイナミクスにおいても安定しており、ハスが逃げ出し、協調的行動を要する環境でも有効である。
• しかし、利的行動はスティグ・フンゲーム以外の環境（例えば社会的ジレンマ）では有害である可能性があり、自己中心的パートナーに搾取されることがある。
• 関数近似とネットワークアーキテクチャは、異なる均衡に到達する相対的確率に影響を及ぼすため、マルチエージェント学習におけるアーキテクチャの事前知識の重要性が浮き彫りになる。