[논문 리뷰] Automatic Bridge Bidding Using Deep Reinforcement Learning

Chih‐Kuan Yeh, Hsuan-Tien Lin|arXiv (Cornell University)|2016. 07. 12.

Auction Theory and Applications인용 수 5

한 줄 요약

이 논문은 인간이 설계한 빌딩 시스템에 의존하지 않고, 원시 카드 데이터에서 직접 브리지 빌딩 전략을 학습하는 딥 강화학습 모델을 제안한다. 딥 Q-네트워크와 상한 신뢰도 기반 탐색을 조합함으로써, 모델은 챔피언 수준의 AI 프로그램을 능가하는 뛰어난 성능을 달성하며, 복잡한 부분 정보 게임에서 엔드 투 엔드 학습이 규칙 기반 시스템을 능가할 수 있음을 보여준다.

ABSTRACT

Bridge is among the zero-sum games for which artificial intelligence has not yet outperformed expert human players. The main difficulty lies in the bidding phase of bridge, which requires cooperative decision making under partial information. Existing artificial intelligence systems for bridge bidding rely on and are thus restricted by human-designed bidding systems or features. In this work, we propose a pioneering bridge bidding system without the aid of human domain knowledge. The system is based on a novel deep reinforcement learning model, which extracts sophisticated features and learns to bid automatically based on raw card data. The model includes an upper-confidence-bound algorithm and additional techniques to achieve a balance between exploration and exploitation. Our experiments validate the promising performance of our proposed model. In particular, the model advances from having no knowledge about bidding to achieving superior performance when compared with a champion-winning computer bridge program that implements a human-designed bidding system.

연구 동기 및 목표

• 인간이 설계한 빌딩 규칙이나 특징에 의존하지 않는 자동 브리지 빌딩 시스템을 개발하는 것.
• 사전 도메인 지식 없이 자기 플레이(self-play)와 원시 카드 데이터를 통해 AI가 효과적인 빌딩 전략을 학습할 수 있도록 하는 것.
• 정보가 불완전하고 입찰이 단조롭게 증가해야 하는 빌딩 단계에서 탐색과 이용의 균형을 이루는 것.
• 딥 강화학습이 인간 전문 지식에 의존하는 기존 AI 시스템을 능가할 수 있는지 평가하는 것.
• 인간의 빌딩 시스템(예: SAYC)과 학습된 모델을 조합하여 성능 향상을 도모할 잠재력을 탐색하는 것.

제안 방법

• 모델은 원시 카드 데이터를 처리하고 패를 입찰으로 매핑하기 위해 딥 Q-네트워크(DQN)를 사용하며, 자기 플레이를 통한 강화학습 프레임워크에서 학습한다.
• 탐색과 이용의 균형을 이루기 위해 상한 신뢰도 기반(UCB1) 탐색 전략을 통합한다.
• 자기 플레이를 통해 훈련되며, 에이전트는 서로 플레이함으로써 점차 입찰 선택과 정보 공유 능력을 향상시킨다.
• 새로운 아키텍처를 통해 제한된 정보 조건에서도 상대의 패 특징을 추정할 수 있도록 한다.
• 최적의 입찰에서의 이격도를 측정하는 비용 함수를 사용하여 평가하며, Wbridge5와 SAYC와의 결과를 비교한다.
• 실험은 인간의 시스템을 사용하지 않은 제로샷 훈련(Zero-shot training)과 고정된 SAYC 오프닝 입찰을 통한 파라미터 조정(fine-tuning)을 포함하여 호환성과 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 모델은 인간이 설계한 빌딩 시스템 없이 원시 카드 데이터에서 직접 효과적인 브리지 빌딩 전략을 학습할 수 있는가?
• RQ2 자기 학습된 빌딩 모델의 성능은 인간이 설계한 빌딩 규칙을 사용하는 최신 AI 시스템과 비교해 어떻게 되는가?
• RQ3 학습된 모델이 인간 빌딩 시스템(SAYC 등)을 초기화 조건으로 사용할 경우, 얼마나 향상될 수 있는가?
• RQ4 인간 빌딩 시스템(예: SAYC)의 통합이 모델이 최적의 전략을 학습하는 능력을 제한하는가?
• RQ5 모델은 경쟁적 입찰과 불확실성 하에서의 정보 공유를 포함한 복잡한 입찰 시나리오로 일반화할 수 있는가?

주요 결과

• 제안된 모델은 인간이 설계한 빌딩 시스템을 사용하는 챔피언 수준의 컴퓨터 브리지 프로그램인 Wbridge5를 능가하며, 평균 비용 2.6793을 기록하여 Wbridge5의 3.0039보다 낮다.
• SAYC 오프닝 입찰로 초기화된 모델은 비용 2.8004를 기록했으며, 이는 Wbridge5의 성능을 넘어서는 것으로, 존재하는 시스템을 향상시켰음을 시사한다.
• 인간의 빌딩 지식 없이 완전히 새로 훈련된 모델은 Wbridge5와 SAYC 초기화 모델 모두를 뛰어넘는 뛰어난 성능을 보였으며, 엔드 투 엔드 학습의 효과성을 입증한다.
• 단 두 번의 입찰 후에도 상대의 패 특징을 높은 정확도로 추정할 수 있었으며, 강력한 정보 추출 능력을 보였다.
• UCB1 탐색 전략의 사용은 학습 안정성과 성능을 크게 향상시켜, 빌딩 단계에서 탐색과 이용의 효과적인 균형을 이끌 수 있었다.
• 결과적으로 인간이 설계한 빌딩 시스템은 AI 브리지 플레이어의 잠재력을 제한할 수 있으며, 원시 데이터에서 훈련된 학습된 모델이 원시 데이터 기반에서 심지어 최고의 인간 시스템조차도 능가함을 시사한다.