[論文レビュー] Combinational Q-Learning for Dou Di Zhu

Yang You, Liangwei Li+3 more|arXiv (Cornell University)|Jan 24, 2019

Reinforcement Learning in Robotics参考文献 19被引用数 5

ひとこと要約

本稿では、手札のサイズに伴い指数関数的に増加する巨大な組み合わせ的行動空間を有する、中国のトリックテイキングゲーム『斗地主』（Dou Di Zhu）向けに、2段階のディープ強化学習手法である『組み合わせ的Qラーニング』（CQL）を提案する。順序に依存しない最大プーリングを用いた分解提案ネットワーク（DPN）と手の提案ネットワーク（MPN）により、行動空間を縮小し、複雑なカードの関係性をモデル化する。人間の示唆や事前知識を一切用いずに、人間水準のパフォーマンスを達成した。

ABSTRACT

Deep reinforcement learning (DRL) has gained a lot of attention in recent years, and has been proven to be able to play Atari games and Go at or above human levels. However, those games are assumed to have a small fixed number of actions and could be trained with a simple CNN network. In this paper, we study a special class of Asian popular card games called Dou Di Zhu, in which two adversarial groups of agents must consider numerous card combinations at each time step, leading to huge number of actions. We propose a novel method to handle combinatorial actions, which we call combinational Q-learning (CQL). We employ a two-stage network to reduce action space and also leverage order-invariant max-pooling operations to extract relationships between primitive actions. Results show that our method prevails over state-of-the art methods like naive Q-learning and A3C. We develop an easy-to-use card game environments and train all agents adversarially from sractch, with only knowledge of game rules and verify that our agents are comparative to humans. Our code to reproduce all reported results will be available online.

研究の動機と目的

• 手札のサイズに伴い指数関数的に増加する『斗地主』における組み合わせ的行動空間の課題に対処すること。
• 現在の手と将来の手の依存関係を含む、複雑な行動関係（ある手の価値が将来の戦略に依存する）を、単純な行動価値推定をはるかに超えてモデル化すること。
• 人間の示唆やドメイン固有の事前知識を一切用いずに、ゲームのルールのみでエージェントを訓練すること。
• 部分的に観察可能で非対称な情報を持つ複雑なトランプゲームにおいて、人間の熟練者と同等のパフォーマンスを達成すること。

提案手法

• CQLは2段階のネットワークを採用する：順序に依存しない最大プーリングを用いて、有望なカードの組み合わせを選択する分解提案ネットワーク（DPN）。
• その後、分解された集合から最終的な playable な手を移動提案ネットワーク（MPN）が選択し、各段階で行動空間を縮小する。
• 1次元畳み込みを用いた新しいカード表現が、手の特徴を効果的に符号化し、関連するカードのレーティングとスートを捉える。
• 順序に依存しない最大プーリング処理により、原始的行動間の関係的特徴が抽出され、さまざまなカードコンビネーションに一般化可能になる。
• 人間データや手作業で設計されたヒューリスティクスを一切使用せず、ゲームのルールのみで自己対戦による訓練を実施する。
• DPNにおける分解のランダムサンプリングにより、計算の妥当性を保ちつつ探索を促進する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、プレイヤーの手札の部分集合としての各手が存在する『斗地主』における行動の組み合わせ的爆発を効果的に扱えるか？
• RQ2 特に現在の手と将来の手の相互依存性を含む行動関係を、深層Qラーニングフレームワーク内でどのようにモデル化できるか？
• RQ3 ゲームのルールのみで訓練されたエージェントは、複雑で非対称なトランプゲームにおいて人間水準のパフォーマンスを達成できるか？
• RQ4 階層的かつ順序に依存しないニューラルコンponentsは、組み合わせ的行動空間において、どの程度サンプル効率とパフォーマンスを向上させられるか？

主な発見

• CQLベースのエージェントは、『地主』（Landlord）として人間プレイヤーと対戦した際、30％の勝率を記録し、より困難な役割においても強いパフォーマンスを示した。
• 『農民』（Peasants）として対戦した際、CQLエージェントは人間相手に60％の勝率を記録し、チームプレイにおける協調性と戦略的優位性を示した。
• エージェントは自発的な協調を示した：監視なしに2体の『農民』エージェントが、戦術的なカードプレイによりゲームの流れを制御する協力行動を学習した。
• CQLは、ナーブなDQN や A3C といったベースライン手法よりも、敵対的訓練において優れた性能を示し、大規模な行動空間の処理における有効性を確認した。
• 人間データを一切使用せず、ゲームのルールと自己対戦のみに依存して人間水準のパフォーマンスを達成した。
• 表2のゲーム記録から、CQLエージェントが実戦で効果的に協調できていることが示された。たとえば、1体の『農民』が「*,$」をプレイして制御を示唆し、勝利への連携を可能にした。