[논문 리뷰] Safe and Nested Subgame Solving for Imperfect-Information Games

Noam Brown, Tüomas Sandholm|arXiv (Cornell University)|2017. 05. 08.

Artificial Intelligence in Games참고 문헌 26인용 수 60

한 줄 요약

이 논문은 안전한, 도달 및 중첩 서브게임 해결 기법을 미완전정보 게임에 도입하여 이전 방법에 비해 취약성을 개선하고 대형 게임 전략의 실시간 정제를 가능하게 하며, 특히 포커에서 Libratus의 성공에 기여했다.

ABSTRACT

In imperfect-information games, the optimal strategy in a subgame may depend on the strategy in other, unreached subgames. Thus a subgame cannot be solved in isolation and must instead consider the strategy for the entire game as a whole, unlike perfect-information games. Nevertheless, it is possible to first approximate a solution for the whole game and then improve it by solving individual subgames. This is referred to as subgame solving. We introduce subgame-solving techniques that outperform prior methods both in theory and practice. We also show how to adapt them, and past subgame-solving techniques, to respond to opponent actions that are outside the original action abstraction; this significantly outperforms the prior state-of-the-art approach, action translation. Finally, we show that subgame solving can be repeated as the game progresses down the game tree, leading to far lower exploitability. These techniques were a key component of Libratus, the first AI to defeat top humans in heads-up no-limit Texas hold'em poker.

연구 동기 및 목표

• 미완전정보 게임에서 서브게임을 고립적으로 해결할 수 없는 이유와 설계도 전략을 어떻게 개선할 수 있는지 설명한다.
• 해로운 취약성에 대한 이론적 보장을 갖춘 안전한 서브게임 해결 프레임워크(Resolve, Maxmargin)를 제시한다.
• 서브게임 간의 교차 효과와 선물 기반 가치 배분을 반영하기 위한 Reach 서브게임 해결을 도입한다.
• 대규모 추상화된 게임에서 다층 수준의 정제를 위한 중첩 서브게임 해결로 확장한다.

제안 방법

• 미완전정보 서브게임을 정의하고 서브게임이 게임의 다른 부분에 얼마나 영향을 미칠 수 있는지 측정하기 위한 선물(gifts) 개념을 도입한다.
• 불안전한(Unsafe) 서브게임 해결과 그것의 이론적 보장 부재를 설명한다.
• 공식적인 익스플로타빌리티 보장(Theorem 1)을 갖춘 Resolving, Maxmargin 및 이들의 Reach 변형 등 안전한 서브게임 해결 방법을 제시한다.
• 여러 서브게임에 걸쳐 선물 조정 마진을 배분하고 전반적인 안전성을 보장하기 위한 Reach 서브게임 해결을 도입한다.
• 추상화로부터의 반사실적 가치(CBV) 추정치를 도입하여 실용적 익스플로타빌리티 경계를 더 촘촘하게 한다(Theorem 2).
• 다층 추상화 및 트리 밖(off-tree) 행동을 처리하기 위한 중첩 서브게임 해결을 논의한다.

실험 결과

연구 질문

• RQ1 미완전정보 게임에서 서브게임 해결을 어떻게 안전하게 수행하여 익스플로타빌리티가 블루프린트를 초과하지 않도록 보장할 수 있는가?
• RQ2 여러 서브게임 간의 상호작용을 고려하고 현재 추상화 외부의 행동에 적응하도록 서브게임 해결을 어떻게 확장할 수 있는가?
• RQ3 Reach 및 Nested Subgame Solving을 이전 접근법과 비교했을 때의 이론적 보장과 실용적 이점은 무엇인가?

주요 결과

• 특정 조건하에서 안전한 서브게임 해결 기법(Resolve, Maxmargin 및 Reach 변형)은 블루프린트보다 더 나쁘지 않게 익스플로타빌리티를 보장한다(Theorem 1).
• 다른 서브게임의 선물을 포함시켜 Reach 서브게임 해결은 강인성을 높이고 고립된 서브게임 해결보다 익스플로타빌리티를 더 효과적으로 감소시킨다.
• 추상화로부터의 반사실적 가치(CBV) 추정은 익스플로타빌리티 경계를 더 촘촘하게 하고 실용적 성능을 향상시킨다(Theorem 2).
• 중첩 서브게임 해결은 게임이 진행됨에 따라 반복적 정제를 가능하게 하여 대규모 미완전정보 게임에서 더 세밀한 전략 업데이트를 가능하게 한다.
• 이 방법들은 상위 인간들을 상대로 헤즈업 노리밋 텍사스 홀덤 포커에서 최초의 AI인 Libratus의 성공에 핵심적으로 기여했다.
• Reach 접근 방식은 안전성을 유지하면서 성능을 향상시키기 위해 여러 서브게임에 걸쳐 가치 조정을 분배하는 합리적 원칙을 제공한다.