[논문 리뷰] Value Functions for Depth-Limited Solving in Imperfect-Information Games beyond Poker

Dominik Seitz, Vojtěch Kovařík외 4명|arXiv (Cornell University)|2019. 05. 31.

Artificial Intelligence in Games인용 수 7

한 줄 요약

이 논문은 일반적인 광범위한 형태 게임에 대해 도메인 및 알고리즘에 관계없이 적용 가능한 가치 함수 정의를 제안하며, Texas Hold'em 포커를 초월한 불완전 정보 게임에서 이론적으로 타당한 깊이 제한된 해결을 가능하게 한다. 이는 신경망이 이러한 가치 함수를 효과적으로 근사할 수 있음을 보여주며, 가치 추정의 정밀도가 높을수록 균형 해결 알고리즘에서 전략의 품질이 향상됨을 시사한다.

ABSTRACT

Depth-limited look-ahead search is an essential tool for agents playing perfect-information games. In imperfect information games, the lack of a clear definition of a value of a state makes designing theoretically sound depth-limited solving algorithms substantially more difficult. Furthermore, most results in this direction only consider the domain of poker. We propose a domain and algorithm independent definition of a value function in general extensive-form games, formally analyze its uniqueness, structure, and compact representations. In an empirical study, we show that neural networks can be easily trained to approximate value functions in three substantially different domains. Furthermore, we analyze the influence of the precision of the value function on the quality of the strategies produced by the depth-limited equilibrium solving algorithm using it.

연구 동기 및 목표

• 포커 외의 분야에서 이론적으로 타당한 가치 함수 정의의 부족을 해결한다.
• 깊이 제한된 해결을 지원하는 일반적이고 도메인 독립적인 광범위한 형태 게임을 위한 가치 함수를 개발한다.
• 제안된 가치 함수의 유일성, 구조, 그리고 압축 표현 방식을 조사한다.
• 다양한 도메인에서 신경망을 사용한 가치 함수 근사의 실용 가능성을 경험적으로 검증한다.
• 값 함수 근사 정밀도가 깊이 제한된 균형 해결 알고리즘에서 생성된 전략의 품질에 미치는 영향을 분석한다.

제안 방법

• 모든 광범위한 형태 게임에 적용 가능한, 도메인 및 알고리즘에 관계없이 독립적인 공식적이고 일반적인 가치 함수 정의를 제안한다.
• 값 함수의 유일성과 구조적 성질을 이론적으로 분석하며, 값 함수가 잘 정의되는 조건을 포함한다.
• 효율적인 계산과 학습을 가능하게 하는 값 함수의 압축 표현 방식을 탐색한다.
• 세 가지의 서로 다른 도메인에서 게임 시뮬레이션 데이터를 사용해 신경망을 학습시켜 가치 함수를 근사한다.
• 학습된 가치 함수를 깊이 제한된 균형 해결 프레임워크에 통합하여 전략을 생성한다.
• 통제된 아블레이션 연구를 통해 값 함수 근사 정밀도가 결과 전략 품질에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 불완전 정보 설정의 광범위한 형태 게임에 대해 일반적이고 도메인 독립적인 가치 함수를 공식적으로 정의할 수 있는가?
• RQ2 제안된 가치 함수의 구조적 성질과 유일성은 깊이 제한된 해결에 어떻게 기여하는가?
• RQ3 신경망이 다양한 게임 도메인에서 제안된 가치 함수를 얼마나 정확하게 근사할 수 있는가?
• RQ4 값 함수 근사 정밀도가 깊이 제한된 균형 해결을 통해 생성된 전략의 품질에 어떻게 영향을 미치는가?
• RQ5 제안된 가치 함수 프레임워크는 포커 도메인을 초월해 효과적이고 확장 가능한가?

주요 결과

• 제안된 가치 함수는 광범위한 형태 게임에서 일반 조건 하에 공식적으로 정의되고 유일하게 결정된다.
• 값 함수는 효율적인 계산과 학습을 지원하는 압축 표현을 허용한다.
• 세 가지 서로 다른 도메인에서 신경망을 성공적으로 학습시켜 가치 함수를 근사할 수 있었으며, 이는 일반화 가능성의 증거이다.
• 보다 높은 정밀도의 가치 함수 근사는 깊이 제한된 해결을 통해 생성된 전략의 탐색 가능도와 강도에 측정 가능한 향상을 이끈다.
• 이 프레임워크는 포커 도메인을 초월한 불완전 정보 게임에서 효과적인 깊이 제한된 해결을 가능하게 하며, 도메인 독립성을 검증한다.
• 경험적 결과는 가치 함수 근사 정밀도가 깊이 제한된 균형 해법기 성능에 결정적인 요소임을 확인한다.