[論文レビュー] Automatic Bridge Bidding Using Deep Reinforcement Learning

Chih‐Kuan Yeh, Hsuan-Tien Lin|arXiv (Cornell University)|Jul 12, 2016

Auction Theory and Applications被引用数 5

ひとこと要約

この論文では、人間が設計したバーディングシステムに依存せずに、原始的なカードデータから直接バーディング戦略を学ぶ深層強化学習モデルを提案する。深層Qネットワークと上位信頼区間探索（UCB）を組み合わせることで、チャンピオンクラスのAIプログラムを上回る性能を達成し、部分情報ゲームにおけるエンドツーエンド学習がルールベースのシステムを上回ることを示している。

ABSTRACT

Bridge is among the zero-sum games for which artificial intelligence has not yet outperformed expert human players. The main difficulty lies in the bidding phase of bridge, which requires cooperative decision making under partial information. Existing artificial intelligence systems for bridge bidding rely on and are thus restricted by human-designed bidding systems or features. In this work, we propose a pioneering bridge bidding system without the aid of human domain knowledge. The system is based on a novel deep reinforcement learning model, which extracts sophisticated features and learns to bid automatically based on raw card data. The model includes an upper-confidence-bound algorithm and additional techniques to achieve a balance between exploration and exploitation. Our experiments validate the promising performance of our proposed model. In particular, the model advances from having no knowledge about bidding to achieving superior performance when compared with a champion-winning computer bridge program that implements a human-designed bidding system.

研究の動機と目的

• 人間が設計したバーディングルールや特徴量に依存しない自動バーディングシステムの開発。
• ドメイン知識なしに、自己対戦と原始的なカードデータを通じてAIが有効なバーディング戦略を学習可能にする。
• 情報が不完全で、入札が単調に増加する必要があるバーディングフェーズにおける、探索と活用のバランスをとること。
• 深層強化学習が、人間の専門知識に依存する既存のAIシステムを上回れるかどうかを評価すること。
• 人間のバーディングシステム（例：SAYC）と学習モデルを組み合わせることで性能向上の可能性を検討すること。

提案手法

• モデルは、原始的なカードデータを処理し、手札を入札にマッピングするための深層Qネットワーク（DQN）を用い、自己対戦による強化学習フレームワークで学習する。
• 探索と活用のバランスを図るために、上位信頼区間（UCB1）探索戦略を統合する。
• 自己対戦による学習により、エージェントが自分自身と対戦しながら、段階的に入札選択と情報共有を改善する。
• 独自のアーキテクチャのおかげで、限られた情報のもとでも相手の手札特徴を推定できる。
• 最適入札からの逸脱を測るコスト関数を用いて評価し、Wbridge5とSAYCとの比較結果を提示する。
• 実験には、人間のシステムを一切使用しないゼロショット学習と、固定されたSAYCオープニング入札でファインチューニングする手法を含め、互換性と性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習モデルは、人間が設計したバーディングシステムに依存せずに、原始的なカードデータから有効なスニーキング戦略を学習できるか？
• RQ2 自己学習による入札モデルの性能は、人間が設計したバーディングルールを用いる最先端のAIシステムと比べてどうか？
• RQ3 SAYCのような既存の人工的バーディングシステムを初期化条件として用いた場合、学習モデルがどの程度それらを改善できるか？
• RQ4 人間のバーディングシステム（例：SAYC）の統合が、モデルが最適戦略を学習する能力を制限するか？
• RQ5 モデルは、競合入札や不確実性下での情報交換を含む、複雑な入札シナリオにも一般化できるか？

主な発見

• 提案されたモデルは、人間が設計したバーディングシステムを用いたチャンピオンクラスのコンピューターブリッジプログラムWbridge5を上回り、平均コストが2.6793とWbridge5の3.0039を下回った。
• SAYCオープニング入札で初期化した場合、コストは2.8004にまで低下し、これはWbridge5の性能を上回っていることを示しており、既存システムの改善を示している。
• 人間のバーディング知識なしに完全にゼロから学習したモデルは、Wbridge5およびSAYC初期化モデルの両方を上回る優れた性能を発揮した。これはエンドツーエンド学習の有効性を示している。
• わずか2回の入札後でも、モデルは相手の手札特徴を高い正確性で推定でき、優れた情報抽出能力を示している。
• UCB1探索の使用により、学習の安定性と性能が著しく向上し、入札フェーズにおける探索と活用のバランスを効果的にとることができた。
• 結果から、人間が設計したバーディングシステムはAIブリッジプレーヤーの潜在能力を制限している可能性があり、原始的なデータから学習したモデルが、人間が設計した最良のシステムですら上回ることを示唆している。