[논문 리뷰] Re-determinizing Information Set Monte Carlo Tree Search in Hanabi

James Goodman|arXiv (Cornell University)|2019. 02. 16.

Artificial Intelligence in Games참고 문헌 34인용 수 10

한 줄 요약

이 논문은 정보집합 몬테카를로 트리 탐색(IS-MCTS)의 새로운 확장인 재결정화된 IS-MCTS(RIS-MCTS)를 소개한다. RIS-MCTS는 활성 플레이어의 시각에서 각 노드에서 상대 플레이어의 카드 상태를 재결정화함으로써 한라비에서 은닉 정보 유출을 방지한다. 루트 플레이어의 지식이 상대 모델로 전파되는 것을 피하기 위해 RIS-MCTS는 상태-최적 성능을 달성하며, 전체 시뮬레이션을 대체하기 위해 학습된 평가 함수를 사용함으로써 40ms 이내의 이동 시간 제한 하에 2~4명 플레이어 게임에서 이전 연구들보다 높은 점수를 기록한다.

ABSTRACT

This technical report documents the winner of the Computational Intelligence in Games(CIG) 2018 Hanabi competition. We introduce Re-determinizing IS-MCTS, a novel extension of Information Set Monte Carlo Tree Search (IS-MCTS) that prevents a leakage of hidden information into opponent models that can occur in IS-MCTS, and is particularly severe in Hanabi. Re-determinizing IS-MCTS scores higher in Hanabi for 2-4 players than previously published work at the time of the competition. Given the 40ms competition time limit per move we use a learned evaluation function to estimate leaf node values and avoid full simulations during MCTS. For the Mixed track competition, in which the identity of the other players is unknown, a simple Bayesian opponent model is used that is updated as each game proceeds.

연구 동기 및 목표

• 은닉 카드에 대한 비대칭 지식으로 인해 한라비에서 발생하는 표준 IS-MCTS의 심각한 정보 유출 문제를 해결하기 위해.
• 다른 플레이어의 카드에 대한 루트 플레이어의 지식이 상대 모델에 이르지 않도록 보장함으로써 한라비에서 협동 플레이를 향상시키기 위해.
• 전체 시뮬레이션 대신 학습된 평가 함수를 사용함으로써 40ms 시간 제약 조건 내에서 효율적인 MCTS를 가능하게 하기 위해.
• 특히 국소적이지 않은 의존성 구조를 가진 게임에 대해, 유사한 은닉 정보 구조를 가진 비완전 정보 게임을 다룰 수 있도록 IS-MCTS를 확장하기 위해.
• RIS-MCTS의 이론적 결함, 특히 상충되는 결정화로 인해 불가능한 게임 상태가 역전파되는 문제를 조사하기 위해.

제안 방법

• 재결정화된 IS-MCTS는 활성 플레이어의 시각에서 각 노드에서 은닉 카드 상태를 재표본 추출함으로써 루트 플레이어의 지식이 상대 모델로 유출되는 것을 방지한다.
• 알고리즘은 각 노드에서 재결정화된 게임 상태를 사용하는 단일 MCTS 트리를 사용하며, 별도의 상대 IS-MCTS 트리가 필요로 하지 않는다.
• 학습된 평가 함수가 리프 노드의 값을 추정함으로써 전체 시뮬레이션의 필요성을 제거하고, 40ms 이내의 빠른 의사결정을 가능하게 한다.
• 규칙 기반 히우리스틱이 액션 공간을 제한하여 탐색 복잡도를 낮추고 효율성을 향상시킨다.
• 오프라인 RIS-MCTS 게임에서 생성된 데이터를 활용해 평가 함수를 반복적으로 훈련하며, 루트 노드를 넘어서 트리의 전체 통계를 활용한다.
• 혼합 트랙에서는 플레이 중 동적으로 업데이트되는 베이지안 상대 모델을 사용해 알 수 없는 에이전트 전략을 추론한다.

실험 결과

연구 질문

• RQ1 IS-MCTS에서 은닉 정보 유출이 한라비에서 성능을 어떻게 악화시키며, 그 원인은 무엇인가?
• RQ2 각 노드에서 은닉 정보를 재결정화함으로써 정보 유출을 방지하고 비협력적 비완전 정보 게임에서 상대 모델링을 향상시킬 수 있는가?
• RQ3 엄격한 시간 제약 조건 하에서 전체 시뮬레이션을 대체할 수 있는 학습된 평가 함수의 성능 유지 능력은 어느 정도인가?
• RQ4 특히 상충되는 결정화로 인해 불가능한 게임 상태가 역전파되는 문제로 인한 RIS-MCTS의 이론적 한계는 무엇인가?
• RQ5 MCTS는 정보집합 내에서 균일 분포를 초월해 더 정교한 추론을 지원하고 신뢰도 상태를 유지하기 위해 어떻게 적응시킬 수 있는가?

주요 결과

• RIS-MCTS는 2~4명 플레이어 게임에서 40ms 이동 시간 제한 하에 이전에 발표된 연구들보다 높은 점수를 기록한다.
• 활성 플레이어의 시각에서 각 노드에서 은닉 카드를 재결정화함으로써 정보 유출를 효과적으로 방지하고 전략 융합을 피한다.
• 학습된 평가 함수를 사용함으로써 전체 시뮬레이션을 회피하고, 40ms 제약 조건 내에서 실시간 성능을 달성할 수 있다.
• 이론적 결함에도 불구하고 RIS-MCTS는 일반 IS-MCTS를 능가하고 CIG 2018 한라비 경연 대회 미러 트랙에서 최고 성능을 기록한다.
• 더 높은 계산 예산에서 관찰된 성능 저하는 상충되는 결정화로 인해 불가능한 게임 결과가 역전파되기 때문으로 기인된다.
• 이 방법은 유사한 은닉 정보 구조를 가진 다른 비완전 정보 게임으로 일반화 가능하지만, 국소적이지 않은 성격과 신뢰도 상태 정교화 문제를 해결하기 위한 추가 연구가 필요하다.