[논문 리뷰] Combinational Q-Learning for Dou Di Zhu

Yang You, Liangwei Li외 3명|arXiv (Cornell University)|2019. 01. 24.

Reinforcement Learning in Robotics참고 문헌 19인용 수 5

한 줄 요약

이 논문은 행동 공간이 기하급수적으로 증가하는 중국의 트릭테이킹 카드 게임 도두주(Dou Di Zhu)에서의 복합 행동 공간 문제를 해결하기 위해 이중 단계의 딥 강화학습 방법인 조합 Q-학습(Combinational Q-Learning, CQL)을 제안한다. 순서에 불변하는 max-pooling을 사용하는 분해 제안 네트워크(Decomposition Proposal Network, DPN)와 이동 제안 네트워크(Move Proposal Network, MPN)를 통해 행동 공간을 감소시키고 복잡한 카드 관계를 모델링함으로써, 인간의 지시나 사전 지식 없이도 인간 수준의 성능을 달성한다.

ABSTRACT

Deep reinforcement learning (DRL) has gained a lot of attention in recent years, and has been proven to be able to play Atari games and Go at or above human levels. However, those games are assumed to have a small fixed number of actions and could be trained with a simple CNN network. In this paper, we study a special class of Asian popular card games called Dou Di Zhu, in which two adversarial groups of agents must consider numerous card combinations at each time step, leading to huge number of actions. We propose a novel method to handle combinatorial actions, which we call combinational Q-learning (CQL). We employ a two-stage network to reduce action space and also leverage order-invariant max-pooling operations to extract relationships between primitive actions. Results show that our method prevails over state-of-the art methods like naive Q-learning and A3C. We develop an easy-to-use card game environments and train all agents adversarially from sractch, with only knowledge of game rules and verify that our agents are comparative to humans. Our code to reproduce all reported results will be available online.

연구 동기 및 목표

• 손에 든 카드 수가 증가할수록 행동 수가 기하급수적으로 증가하는 도두주에서의 복합 행동 공간 문제를 해결하기 위해.
• 현재 행동의 가치가 향후 플레이와 카드 조합에 의존하는 복잡한 행동 관계를 단순한 행동-가치 추정을 초월해 모델링하기 위해.
• 인간의 지시나 도메인 특화 사전 지식 없이 오직 게임 규칙만을 사용해 에이전트를 처음부터 훈련하기 위해.
• 부분 관찰 가능하고 비대칭 정보를 가진 복잡한 카드 게임에서 인간 전문가 수준의 성능을 달성하기 위해.

제안 방법

• CQL은 이중 단계 네트워크를 사용한다: 순서에 불변하는 max-pooling을 사용해 유망한 카드 조합을 선택하는 분해 제안 네트워크(Decomposition Proposal Network, DPN).
• 이후 이동 제안 네트워크(Move Proposal Network, MPN)가 분해된 집합에서 최종적으로 가능한 이동을 선택하여 각 단계에서 행동 공간을 감소시킨다.
• 1D 컨볼루션 기반의 새로운 카드 표현 방식이 수동의 특징을 효과적으로 인코딩하며, 관련 있는 카드 랭크와 슈트를 포착한다.
• 순서에 불변하는 max-pooling 연산을 통해 기본 행동 간의 관계적 특징을 추출함으로써 다양한 카드 조합에 일반화할 수 있도록 한다.
• 인간 데이터나 수작업 히ュ리스틱을 피하기 위해 오직 게임 규칙만을 사용하는 자기대결 훈련을 사용한다.
• DPN에서 분해의 무작위 샘플링을 통해 탐색을 보장하면서도 계산 가능성을 유지한다.

실험 결과

연구 질문

• RQ1 딥 강화학습가 도두주에서 각 이동이 플레이어의 손패의 부분집합인 복합 행동 공간의 기하급수적 증가를 효과적으로 다룰 수 있는가?
• RQ2 딥 Q-학습 프레임워크에서 현재와 미래의 이동 간 상호의존성을 포함한 행동 관계를 어떻게 모델링할 수 있는가?
• RQ3 오직 게임 규칙만을 사용해 처음부터 훈련된 에이전트가 복잡하고 비대칭적인 카드 게임에서 인간 수준의 성능을 달성할 수 있는가?
• RQ4 계층적이고 순서에 불변하는 신경망 구성 요소는 복합 행동 공간에서 샘플 효율성과 성능 향상에 어느 정도 기여하는가?

주요 결과

• CQL 기반 에이전트는 땅사람 역할로 플레이할 때 인간 플레이어와의 대결에서 30%의 승률을 기록하여 더 어려운 역할에서 뛰어난 성능을 보였다.
• 농민 역할로 플레이할 경우, CQL 에이전트는 인간 상대와의 대결에서 60%의 승률을 기록하여 팀 플레이에서 뛰어난 협력과 전략을 보였다.
• 에이전트는 잠재적 협력을 보였다: 둘의 농민 에이전트는 감독 없이도 협력 전략을 학습했으며, 예를 들어 전략적 카드 플레이를 통해 게임 흐름을 제어했다.
• CQL은 난이도가 높은 행동 공간을 다루는 데 효과적임을 입증하며, 기존의 단순 DQN과 A3C와 비교해도 열등하지 않았다.
• 인간 데이터를 사용하지 않고 오직 게임 규칙과 자기대결 훈련만을 기반으로 인간 수준의 성능을 달성했다.
• 표 2의 게임 기록은 CQL 에이전트가 실제 게임 플레이에서 성공적으로 협력했음을 보여주며, 한 농민이 *,$를 플레이해 제어를 신호하고 승리 연속을 가능하게 했다.