[论文解读] Automatic Bridge Bidding Using Deep Reinforcement Learning

Chih‐Kuan Yeh, Hsuan-Tien Lin|arXiv (Cornell University)|Jul 12, 2016

Auction Theory and Applications被引用 5

一句话总结

本文提出了一种深度强化学习模型，直接从原始牌面数据中学习桥牌叫牌策略，无需依赖人工设计的叫牌体系。通过结合深度Q网络与置信上界探索策略，该模型在零和、部分信息博弈中表现优于冠军级人工智能程序，证明了端到端学习在复杂部分信息游戏中可超越基于规则的系统。

ABSTRACT

Bridge is among the zero-sum games for which artificial intelligence has not yet outperformed expert human players. The main difficulty lies in the bidding phase of bridge, which requires cooperative decision making under partial information. Existing artificial intelligence systems for bridge bidding rely on and are thus restricted by human-designed bidding systems or features. In this work, we propose a pioneering bridge bidding system without the aid of human domain knowledge. The system is based on a novel deep reinforcement learning model, which extracts sophisticated features and learns to bid automatically based on raw card data. The model includes an upper-confidence-bound algorithm and additional techniques to achieve a balance between exploration and exploitation. Our experiments validate the promising performance of our proposed model. In particular, the model advances from having no knowledge about bidding to achieving superior performance when compared with a champion-winning computer bridge program that implements a human-designed bidding system.

研究动机与目标

• 开发一种不依赖人工设计叫牌规则或特征的自动桥牌叫牌系统。
• 使人工智能能够通过自我对弈和原始牌面数据学习有效的叫牌策略，无需先验领域知识。
• 在信息不完全且叫牌必须单调递增的叫牌阶段，平衡探索与利用。
• 评估深度强化学习是否能够超越依赖人类专业知识的现有AI系统。
• 探索将人工叫牌体系（例如SAYC）与学习模型结合以提升性能的潜力。

提出的方法

• 该模型使用深度Q网络（DQN）处理原始牌面数据，将牌手映射为叫牌动作，通过强化学习框架中的自我对弈进行学习。
• 集成置信上界（UCB1）探索策略，以平衡对新叫牌的探索与对高回报动作的利用。
• 通过自我对弈进行训练，智能体在相互对弈中逐步提升叫牌选择与信息交换能力。
• 新颖的架构使智能体能够基于对手的叫牌，即使在信息有限的情况下，也能准确估计对手的手牌特征。
• 采用成本函数衡量与最优叫牌的偏离程度，结果与Wbridge5及SAYC进行对比。
• 实验包括零样本训练（无任何人工体系）和使用固定SAYC首叫进行微调，以评估兼容性与性能提升。

实验结果

研究问题

• RQ1 深度强化学习模型能否在无需人工设计叫牌体系的情况下，直接从原始牌面数据中学习有效的桥牌叫牌策略？
• RQ2 自我学习的叫牌模型性能与采用人工设计叫牌规则的最先进AI系统相比如何？
• RQ3 当以SAYC等现有人工叫牌体系初始化时，学习模型能在多大程度上改进现有系统？
• RQ4 将人工叫牌体系（如SAYC）整合是否限制了模型学习最优策略的能力？
• RQ5 该模型能否泛化到复杂叫牌场景，包括竞争性叫牌和不确定性下的信息交换？

主要发现

• 所提出的模型优于Wbridge5——一个使用人工设计叫牌体系的冠军级计算机桥牌程序，平均成本低至2.6793，低于Wbridge5的3.0039。
• 当以SAYC首叫初始化时，模型成本为2.8004，仍低于Wbridge5的表现，表明其在现有系统基础上实现了改进。
• 从零开始训练、不依赖任何人工叫牌知识的模型，其性能优于Wbridge5和SAYC初始化模型，证明了端到端学习的有效性。
• 该模型即使在仅两轮叫牌后，也能以高精度估计对手手牌特征，显示出强大的信息提取能力。
• 使用UCB1探索策略显著提升了学习稳定性和性能，实现了叫牌阶段探索与利用的有效平衡。
• 结果表明，人工设计的叫牌体系可能限制人工智能桥牌玩家的潜力，因为从原始数据训练的模型即使在最优人工体系下也表现更优。