[論文レビュー] Monte Carlo Q-learning for General Game Playing

Hui Wang, Michael Emmerich+1 more|arXiv (Cornell University)|Feb 16, 2018

Artificial Intelligence in Games参考文献 14被引用数 14

ひとこと要約

本稿では、一般ゲームプレイ（GGP）における収束速度の向上を図るために、モンテカルロ探索（MCS）をQ学習ループに統合したハイブリッド強化学習手法であるQM学習を提案する。チェックタトゥー、コネクトフォー、ヘックスといった小規模なゲームで評価した結果、標準的なQ学習に比べて学習速度と勝率が著しく向上し、ランダムプレーヤーに対して87.5％の勝率を達成したが、依然としてMCTSの完全な戦略には及ばない。

ABSTRACT

After the recent groundbreaking results of AlphaGo, we have seen a strong interest in reinforcement learning in game playing. General Game Playing (GGP) provides a good testbed for reinforcement learning. In GGP, a specification of games rules is given. GGP problems can be solved by reinforcement learning. Q-learning is one of the canonical reinforcement learning methods, and has been used by (Banerjee & Stone, IJCAI 2007) in GGP. In this paper we implement Q-learning in GGP for three small-board games (Tic-Tac-Toe, Connect Four, Hex), to allow comparison to Banerjee et al. As expected, Q-learning converges, although much slower than MCTS. Borrowing an idea from MCTS, we enhance Q-learning with Monte Carlo Search, to give QM-learning. This enhancement improves the performance of pure Q-learning. We believe that QM-learning can also be used to improve performance of reinforcement learning further for larger games, something which we will test in future work.

研究の動機と目的

• 一般ゲームプレイ（GGP）環境における古典的テーブルベースQ学習の性能と収束速度を評価すること。
• GGPにおけるQ学習の収束が遅い問題を、Q学習ループにモンテカルロ探索（MCS）を統合することで解決すること。
• 小規模な2人ゼロサムゲームにおいて、強化されたQM学習手法をMCTSおよびベースラインQ学習と比較すること。
• 適応的エプソンスケジューリングがGGPにおけるQ学習性能に与える影響を調査すること。
• QM学習をより大きなゲームやニューラルネットワークベースの実装に拡張可能かどうかを検討すること。

提案手法

• チェックタトゥー、コネクトフォー、ヘックスの3つの小規模なGGPゲームに対して、テーブルベースQ学習を実装する。
• モンテカルロ探索（MCS）をQ学習の更新ループに統合し、MCSが学習中の行動選択をガイドするQM学習を構築する。
• 2人ゲームにおける相手モデル化のため、交互に最大化と最小化を行うUCTスタイルの木探索ポリシーを用いる。
• 学習フェーズに応じて減少する動的エプソングリーディ戦略を適用し、探索と活用のバランスを取る。
• 1手あたり50msにMCSの実行時間を制限し、リアルタイム制約を模擬する。これに対してMCTSは10秒の時間制限を設定する。
• マッチの実行とパフォーマンスデータ収集のため、ゲームマネージャー（GM）とGDLインタプリタを用いる。

実験結果

リサーチクエスチョン

• RQ1 古典的Q学習は一般ゲームプレイ環境で収束するのか？ また、MCTSと比較して収束速度はどの程度か？
• RQ2 Q学習ループにモンテカルロ探索を統合することで、学習効率と最終的なパフォーマンスが著しく向上するか？
• RQ3 適応的エプソンスケジューリングは、GGPにおけるQ学習の収束と勝率にどのような影響を与えるか？
• RQ4 QM学習は、チェックタトゥーのような小規模なGGPゲームにおいて、標準的なQ学習をどの程度上回るか？
• RQ5 QM学習フレームワークは、より大きなゲームやディープラーニングアーキテクチャと組み合わせて拡張可能か？

主な発見

• 古典的Q学習はGGPゲームで収束するが、MCTSと比較して著しく遅い学習を示し、チェックタトゥーでは完全な戦略に到達できない。
• MCSをQ学習ループに統合したQM学習は収束速度とパフォーマンスを向上させ、ランダムプレーヤーに対して87.5％の勝率を達成した（Q学習の86.5％よりわずかに優れる）。
• MCTSは、状態空間が小さいためチェックタトゥーで完全な戦略を達成し、QPlayerおよびQMPlayerに対して100％の勝率を記録した。
• QM学習は初期学習フェーズでQ学習を上回り、MCSによる探索誘導のおかげで高報酬戦略をより速く学習した。
• 時間経過とともに探索を減少させる動的エプソンスケジュールは、固定エプソンよりも優れたパフォーマンスをもたらし、収束を改善した。
• 改良が加えられても、QM学習は小規模なゲームにおいてMCTSのパフォーマンスに到達できないことから、より深いアーキテクチャの拡張なしにはスケーラビリティの限界があることが示された。