[논문 리뷰] Depth-Limited Solving for Imperfect-Information Games

Noam Brown, Tüomas Sandholm외 1명|arXiv (Cornell University)|2018. 05. 21.

Artificial Intelligence in Games참고 문헌 34인용 수 28

한 줄 요약

이 논문은 깊이 한계에서 상대방이 여러 전략 중 선택할 수 있도록 허용하여, 은닉 정보와 상대 전략 의존성으로 인해 기존의 값 치환 기법이 실패하는 불완전 정보 게임에서 깊이 제한된 해결을 원칙적으로 개선한다. 이 방법은 초당 4코어 CPU와 16GB 메모리만으로도 기존 최고 수준의 무한한 Texas Hold’em AI를 압도할 수 있도록 하여, 슈퍼컴퓨터가 필요한 이전 방법에 비해 수개의 주기적 효율성 향상을 보여준다.

ABSTRACT

A fundamental challenge in imperfect-information games is that states do not have well-defined values. As a result, depth-limited search algorithms used in single-agent settings and perfect-information games do not apply. This paper introduces a principled way to conduct depth-limited solving in imperfect-information games by allowing the opponent to choose among a number of strategies for the remainder of the game at the depth limit. Each one of these strategies results in a different set of values for leaf nodes. This forces an agent to be robust to the different strategies an opponent may employ. We demonstrate the effectiveness of this approach by building a master-level heads-up no-limit Texas hold'em poker AI that defeats two prior top agents using only a 4-core CPU and 16 GB of memory. Developing such a powerful agent would have previously required a supercomputer.

연구 동기 및 목표

• 은닉 정보와 상대 전략 의존성으로 인해 기존의 값 치환 기법이 실패하는 불완전 정보 게임에서 깊이 제한된 해결 문제를 해결하기 위해.
• 무한한 Texas Hold’em과 같은 큰 순차적 게임에서 초기 게임 하위게임에 대한 세밀한 전략을 사전에 계산하는 것이 계산적으로 불가능한 문제를 해결하기 위해.
• 거대한 사전 계산이나 슈퍼컴퓨터 규모의 자원이 필요 없이 확장 가능하고 실시간으로 작동하는 깊이 제한된 해결 기법을 개발하기 위해.
• 비싼 사전 계산된 균형 전략이나 공동 신뢰도 상태 매핑에 의존하지 않고도 불완전 정보 게임에서 강력한 성능을 내는 데 기여하기 위해.

제안 방법

• 깊이 한계에 도달했을 때, 잎 노드에 단일 값을 할당하는 대신, 상대방이 게임 나머지 부분에 대해 후보 전략 집합 중 하나를 선택할 수 있도록 허용한다.
• 각 상대 전략 선택은 잎 노드에 다른 값을 초래하며, 이는 에이전트가 이러한 모든 전략에 대비한 강건성을 확보하도록 강제한다.
• 에이전트는 상대방의 선택을 다수의 가능한 결과를 가진 결정 포인트로 간주하여 하위게임을 해결한다. 각 결과는 서로 다른 전략 프로파일에 대응한다.
• 함수 근사 기법을 사용하여 게임 상태를 각 상대 전략에 대응하는 값 집합으로 매핑함으로써, 전략 업데이트마다 값을 재계산하지 않고도 효율적인 평가를 가능하게 한다.
• 공동 신뢰도 상태 표현을 피하기 위해 고정된 블루프린트 전략에 대한 최적 반응을 직접 모델링함으로써 입력 차원과 계산 비용을 감소시킨다.
• 리프 값이 하위게임 전략의 변화에 영향을 받지 않고 상태와 고정된 상대 전략 집합에만 의존하므로, 최소한의 재계산으로 반복적 해결이 실시간으로 가능하다.

실험 결과

연구 질문

• RQ1 깊이 한계에서 상대 전략 적응에 강건한 깊이 제한된 해결 기법은, 고정된 전략을 가정하는 대신 상대방이 다양한 전략을 선택할 수 있도록 허용함으로써 가능할 수 있는가?
• RQ2 사전 계산된 전략 대신 실시간 깊이 제한된 해결 기법을 사용함으로써, 보편적인 컴퓨팅 자원만으로도 무한한 Texas Hold’em에서 초월 수준의 성능을 달성할 수 있는가?
• RQ3 다중 값 상태 접근법은 공동 신뢰도 상태 값 매핑에 비해 계산 비용과 확장성 측면에서 어떻게 비교되는가?
• RQ4 다중 값 상태에 기반한 함수 근사기법은 하위게임에서 비용이 많이 드는 균형 계산을 효율적이고 정확하게 대체할 수 있는가?
• RQ5 깊이에서 상대방이 여러 전략 중 선택할 수 있도록 허용할 경우, 단일 값 치환에 비해 탐색 가능성과 강건성이 향상되는가?

주요 결과

• 제안된 깊이 제한된 해결 기법은 단지 4코어 CPU와 16GB 메모리만으로도 헤드업 무한 Texas Hold’em에서 두 개의 이전 최고 수준 에이전트를 압도하는 마스터 수준의 AI를 가능하게 하여, 계산 요구량의 극적인 감소를 보여준다.
• 이전의 사전 계산된 전략 기반 AI보다도 더 강력한 성능을 내지만, 계산 자원은 수 개의 주기적 감소를 보인다.
• 낮은 탐색 가능성은 상대 전략 적응에 대한 강건성과 강력한 전략 일관성을 나타낸다.
• 공동 신뢰도 상태 매핑에 비해 다중 값 상태에 대한 함수 근사는 훨씬 더 효율적이며, DeepStack의 100만 시간 이상이 필요한 것에 비해 1,000시간 미만으로 계산 비용을 절감한다.
• 하위게임 복잡도와 함께 양호하게 확장되며, 계산 비용이 고려하는 상대 전략 수와 선형적으로 증가하는 반면, 공동 신뢰도 상태 방법은 더 높은 차원의 입력으로 인해 더 빠르게 증가한다.
• 각 전략 업데이트 후 리프 값 재계산이 필요 없기 때문에, 실시간으로 효율적인 반복적 해결이 가능하다.