[論文レビュー] Survey of Self-Play in Reinforcement Learning

Anthony DiGiovanni, Ethan Zell|arXiv (Cornell University)|Jul 6, 2021

Game Theory and Applications参考文献 19被引用数 4

ひとこと要約

本調査は強化学習における自己対戦の統合的分析を行い、その理論的基盤、評価基準、アルゴリズム的手法を検討する。パレート効率性とエゴイスト的交渉解（EBS）が優れたが未だ十分に検討されていないベンチマークであることが特定され、FCLは協調的探索と裏切りに対する罰則メカニズムを通じて自己対戦の整合性を保証する新規アルゴリズムである。

ABSTRACT

In reinforcement learning (RL), the term self-play describes a kind of multi-agent learning (MAL) that deploys an algorithm against copies of itself to test compatibility in various stochastic environments. As is typical in MAL, the literature draws heavily from well-established concepts in classical game theory and so this survey quickly reviews some fundamental concepts. In what follows, we present a brief survey of self-play literature, its major themes, criteria, and techniques, and then conclude with an assessment of current shortfalls of the literature as well as suggestions for future directions.

研究の動機と目的

• 自己対戦における最適性の定義に関する理論的・実践的課題を明確化すること。
• ナッシュ均衡、パレート効率性、エゴイスト的交渉解（EBS）といった代替の性能ベンチマークが自己対戦フレームワーク内でどのように評価されるかを検証すること。
• 報酬関数に関する不確実性のもとで、自己コピーとの整合性を保ちつつ非自己エージェントに対しても適応可能なアルゴリズムの設計方法を分析すること。
• 有限時間保証、リグレットバウンド、および悪意あるまたは不整合なプレイヤーに対する耐性に関する未解決問題を同定すること。
• 未知または確率的環境において、搾取を防ぎ、長期的な協力を確保するインcentive-stableなアルゴリズムの設計を探索すること。

提案手法

• 自己対戦を形式的にモデル化するためのマーカフゲームを用い、確率的遷移と報酬を有する複数エージェントを含むMDPの拡張を採用する。
• 三段階の行動価値推定システムを提案：$Q^c$（EBSのための集団的報酬）、$Q^r_j$（逸脱プレイヤーの罰則）、$Q^d_j$（逸脱による利益）、これにより非協力的行動への戦略的対応が可能になる。
• 自己コピー間での協調的探索を採用し、$Q^c$、$Q^r_j$、$Q^d_j$ の正確な推定を保証し、探索を裏切りと誤解するのを防ぐ。
• フェイルセーフ・コoperativeラーニング（FCL）アルゴリズムを導入し、代替報酬関数を用いてエゴイスト的交渉解（EBS）を強制し、信頼性のある罰則によって逸脱を抑止する。
• 構造化された探索スケジュールを用いたQラーニングを適用し、初期に未知のダイナミクスを有する環境において探索と報酬最大化のバランスを取る。
• ナッシュ均衡、パレート効率性、EBSといったゲーム理論的概念を用いて、アルゴリズムの性能と安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 どの自己対戦の形式的モデルが理論的に取り扱いやすく、収束を確立するための一般的な証明技法は何か？
• RQ2 ナッシュ均衡、パレート効率性、エゴイスト的交渉解といった異なる評価基準は、実用的望ましさと理論的妥当性の観点からどのように比較されるか？
• RQ3 悪意あるおよび確率的非自己プレイヤーに対して安全で最適性を保証しつつ、自己対戦の整合性を維持できるアルゴリズムはどのように設計できるか？
• RQ4 EBSのような高い公平性・効率性基準を達成する際の計算的・理論的トレードオフは何か、特に単純なナッシュ均衡との比較において？
• RQ5 標的的な敵対者や矛盾する協力戦略を検出し、破壊的な罰則ループを回避するにはどうすればよいか？

主な発見

• 文献から、パフォーマンス基準に顕著な乖離が見られ、単に任意のナッシュ均衡への収束よりもパレート効率性やエゴイスト的交渉解（EBS）が望ましいが、達成が難しいことが判明した。
• 有限時間保証、特にリグレットバウンドは自己対戦アルゴリズムにおいてほとんど存在せず、既存のバウンドは非自己プレイヤーに対する高いパフォーマンスを保証しない。
• FCLアルゴリズムは、EBSのための$Q^c$、罰則のための$Q^r_j$、逸脱インcentiveのための$Q^d_j$ の三つの行動価値推定を維持することで、学習均衡を達成し、裏切りの信頼性ある抑止を可能にする。
• 自己コピー間での協調的探索により、$Q^c$、$Q^r_j$、$Q^d_j$ の正確な推定が保証され、裏切りの誤検出（偽陽性）を防ぎ、真のEBSポリシーへの収束を可能にする。
• 実験的成功は示しているが、M-Qubedは自己対戦の効率性と非自己エージェントへの適応性をバランスさせる理論的保証を欠いており、複雑な環境やショートホライズン設定における耐性について懸念を呈する。
• 二つのFCLエージェントが矛盾する協力的理想を追求する場合、罰則ループが発生し、相互に罰せられ、劣悪な結果に終わることがある。これは、このような状況を検出し回避する追加の基準の必要性を強調する。