[論文レビュー] Maintaining cooperation in complex social dilemmas using deep reinforcement learning

Adam Lerer, Alexander Peysakhovich|arXiv (Cornell University)|Jul 4, 2017

Evolutionary Game Theory and Cooperation参考文献 62被引用数 112

ひとこと要約

本論文は amTFT を導入します。深層強化学習を用いて構築された近似的な Markov tit-for-tat 戦略で、マルコフ型社会的ジレンマにおける協調を維持し、搾取者や単発テストに直面しても協調を保つことができます。amTFT は修正された自己対戦学習(Self-Play) を通じて学習でき、さまざまな環境にわたって協調を堅牢に維持することを示します。

ABSTRACT

Social dilemmas are situations where individuals face a temptation to increase their payoffs at a cost to total welfare. Building artificially intelligent agents that achieve good outcomes in these situations is important because many real world interactions include a tension between selfish interests and the welfare of others. We show how to modify modern reinforcement learning methods to construct agents that act in ways that are simple to understand, nice (begin by cooperating), provokable (try to avoid being exploited), and forgiving (try to return to mutual cooperation). We show both theoretically and experimentally that such agents can maintain cooperation in Markov social dilemmas. Our construction does not require training methods beyond a modification of self-play, thus if an environment is such that good strategies can be constructed in the zero-sum case (eg. Atari) then we can construct agents that solve social dilemmas in this environment.

研究の動機と目的

• マルコフ二人用ゲームにおける協調ポリシーを定義・形式化し、社会的ジレンマが生じるときの条件を特定する。
• 単一のテストゲーム内で協調を維持する実用的でスケーラブルな戦略（amTFT）を開発する。
• 追加の分析機構なしに修正された自己対戦を介して amTFT が学習できることを示す。
• amTFT の搾取耐性とパートナーからの協調を促す能力を示す。

提案手法

• マルコフ決定過程を協力ポリシーと非協力ポリシーを持つ二人プレイヤーのマルコフゲームへ一般化する。
• 各ステップごとのデビットが Q 関数やローアウトから計算されるデビットに基づいて協力ポリシーと非協力ポリシーの間で切り替える amTFT を導入する。
• 自己対戦を通じて自己利得と協力報酬スケジュールの対比によって協力ポリシーと非協力ポリシーを訓練する。
• 欺瞞/不協和を検知するためのメモリベースまたは要約統計アプローチを用いて切り替えルールを支配する。
• ノイズがない場合に amTFT が協調を生み出す条件を示す形式的定理を提供する。

実験結果

リサーチクエスチョン

• RQ1 近似的な Markov Tit-for-Tat 戦略は単発の Markov 社会的ジレンマで協調を維持できるのか。
• RQ2 amTFT は他者からの協力を促しつつ、搾取されないバランスを取れるのか。
• RQ3 深層強化学習環境において修正された自己対戦を通じて協力ポリシーと非協力ポリシーは信頼性高く学習できるか。
• RQ4 amTFT は欠陥者や他の協力的または自己利益志向戦略に対してどのように機能するか。
• RQ5 原画像入力から学習する環境へ amTFT アプローチはスケールしますか。

主な発見

• amTFT は自分自身と協調し、テストされた環境全体で欠陥者による搾取に耐性がある。
• 標準的な自己対戦は非協力戦略へ収束しがちだが、amTFT は搾取に頑健な協調的挙動を達成する。
• amTFT はパートナーからの協調を促し、両エージェントの長期的な報酬を改善する。
• 非協力フェーズは有限であり、協力へ戻るため、罰と許しの現実的なバランスを提供する。
• 値ベースのデビット計算（Q関数を介して）は、結果が同等の協力ポリシーに対して安定性を提供する。
• Coins および PPD に関する実験（ピクセルベースの Atari風設定を含む）は、協調を維持する際 Grim Trigger より amTFT の有用性を支持する。