[論文レビュー] Reinforcement learning in FlipIt

Sang Chin, Laura Greige|arXiv (Cornell University)|Feb 28, 2020

Artificial Intelligence in Games参考文献 21被引用数 5

ひとこと要約

この論文では、不完全かつ不完全情報の2人対戦ゲームであるFlipItにおいて、所有時間の最適化を可能にするディープQラーニングモデルを提示する。限られた観測のもとで、相手の行動様式を事前に知らない状態でも、効果的な対戦略を学習し、グリーディな手法よりも優れた性能を発揮する。

ABSTRACT

Reinforcement learning has shown much success in games such as chess, backgammon and Go. However, in most of these games, agents have full knowledge of the environment at all times. In this paper, we describe a deep learning model that successfully optimizes its score using reinforcement learning in a game with incomplete and imperfect information. We apply our model to FlipIt, a two-player game in which both players, the attacker and the defender, compete for ownership of a shared resource and only receive information on the current state (such as the current owner of the resource, or the time since the opponent last moved, etc.) upon making a move. Our model is a deep neural network combined with Q-learning and is trained to maximize the defender's time of ownership of the resource. Despite the imperfect observations, our model successfully learns an optimal cost-effective counter-strategy and shows the advantages of the use of deep reinforcement learning in game theoretic scenarios. Our results show that it outperforms the Greedy strategy against distributions such as periodic and exponential distributions without any prior knowledge of the opponent's strategy, and we generalize the model to 𝓃-player games.

研究の動機と目的

• 不完全かつ不完全情報の状況下でも、共有リソースを効果的に防御できる強化学習エージェントの開発。
• Qラーニングを用いた深層ニューラルネットワークの訓練により、FlipItゲームにおける防御者の所有時間の最大化。
• 周期的および指数的移動分布を示す既知の相手戦略に対するモデルの性能評価。
• n人対戦バージョンのFlipItゲームへのアプローチの一般化。

提案手法

• 時間差分学習を用いて、FlipItゲーム環境におけるQ値関数の近似を目的とした深層Qネットワーク（DQN）を訓練。
• エージェントは、行動をとる際に、現在の所有状態や直近の移動からの経過時間といった部分的な状態情報のみを観測。
• 経験再生とターゲットネットワークを用いて、部分観測設定下での学習を安定化。
• 長期間の所有を奨励し、不要な移動に対してペナルティを与える報酬形状戦略を採用。
• バックプロパゲーションを用いてニューラルネットワーク全体を通じて誤差を最小化する形で方策を更新。
• 各プレイヤーの移動を状態遷移ダイナミクス内の確率的イベントとしてモデル化することで、n人対戦ゲームにアプローチを拡張。

実験結果

リサーチクエスチョン

• RQ1 部分的かつ不完全な観測のみを前提とした深層強化学習エージェントは、FlipItにおいて効果的な防御戦略を学習できるか？
• RQ2 さまざまな相手の移動分布下で、ディープQラーニングエージェントの性能はグリーディ戦略と比べてどのように差がつくか？
• RQ3 観測の疎らさが、最適でコスト効率の良い戦略を学習する能力に与える影響は何か？
• RQ4 提案手法は、n人対戦バージョンのFlipItゲームへ一般化可能か？

主な発見

• グリーディ戦略に比べ、周期的および指数的移動分布の両方において、平均所有時間の観点で顕著に優れた性能を示した。
• リソースの防御と不要な移動の最小化のトレードオフを適切にバランスさせたコスト効率の高い戦略を学習した。
• 再訓練やアーキテクチャの変更なしに、n人対戦バージョンのFlipItゲームに対しても効果的に一般化された。
• 限られた状態観測のもとでも安定した学習と収束を達成しており、部分観測に対して高い耐性を示した。