[논문 리뷰] AIVAT: A New Variance Reduction Technique for Agent Evaluation in Imperfect Information Games

Neil Burch, Martin Schmid외 2명|arXiv (Cornell University)|2016. 12. 20.

Sports Analytics and Performance인용 수 9

한 줄 요약

AIVAT는 무한한 텍사스 홀드'em 포커와 같은 비완전 정보 게임에서 에이전트 평가를 위한 새로운, 증명 가능하게 편향이 없는 분산 감소 기법이다. 알려진 전략과 히وري스틱 가치 추정치를 기반으로 한 가상의 관찰과 제어 변수를 조합함으로써, AIVAT는 확률적 사건과 플레이어 행동에 의한 결과 분산을 모두 감소시키며, 실질적으로 필요한 게임 샘플 수를 10배 이상 줄인다.

ABSTRACT

Evaluating agent performance when outcomes are stochastic and agents use randomized strategies can be challenging when there is limited data available. The variance of sampled outcomes may make the simple approach of Monte Carlo sampling inadequate. This is the case for agents playing heads-up no-limit Texas hold'em poker, where man-machine competitions have involved multiple days of consistent play and still not resulted in statistically significant conclusions even when the winner's margin is substantial. In this paper, we introduce AIVAT, a low variance, provably unbiased value assessment tool that uses an arbitrary heuristic estimate of state value, as well as the explicit strategy of a subset of the agents. Unlike existing techniques which reduce the variance from chance events, or only consider game ending actions, AIVAT reduces the variance both from choices by nature and by players with a known strategy. The resulting estimator in no-limit poker can reduce the number of hands needed to draw statistical conclusions by more than a factor of 10.

연구 동기 및 목표

• 결과가 확률적이며 전략이 랜덤화된 상황에서 에이전트 성능 평가의 높은 분산 문제를 해결하기 위해, 특히 인간 대 봇 포커 대결과 같은 데이터 제한 환경에서의 적용을 목적으로 한다.
• 이전 방법들이 확률적 사건이나 종료 행동에 대해서만 분산을 감소시키는 데 그쳐, 비종료 플레이어 행동 선택에 의한 분산은 감소시키지 못하는 한계를 극복하기 위해 개발한다.
• 모든 의사결정 지점에서 분산을 최소화하기 위해 히وري스틱 가치 함수와 플레이어 전략 지식을 모두 활용하는 통합적이고 편향이 없는 추정기 개발을 목적으로 한다.
• 대규모 평가(예: 인간-기계 대결)를 가능하고 효율적으로 만들 수 있도록 통계적으로 유의미한 결론을 훨씬 적은 게임 샘플로 도출할 수 있도록 한다.
• 실제 비완전 정보 게임에서 높은 결과 분산을 보이는 상황에서 AI 에이전트 평가를 위한 실용적이고 확장 가능한 솔루션을 제공한다.

제안 방법

• AIVAT는 제어 변수 기법을 확장하여 확률적 결과와 전략이 알려진 플레이어 행동까지 포함시키며, 히وري스틱 가치 함수를 기준선으로 사용한다.
• 미래의 관찰을 가상으로 설정하여 관측되지 않은 행동 경로의 결과를 추정함으로써, 단일 게임 샘플에서 기반 전략을 활용해 기대값을 계산한다.
• 칩 수와 가치 함수에서 유도된 제어 변수, 전략 기반 경로 평균화를 결합한 추정기로, 편향이 없음을 보장한다.
• 알려진 전략 하에서 상태에 도달할 확률($\pi_p(h)$)과 연합 확률($\pi_T(h)$)을 사용하여 가능한 게임 경로 전반에 걸쳐 기여도를 가중한다.
• MIVAT(확률적 사건에 대한 제어 변수)와 가상 관찰에 대한 중요도 샘플링을 하나의 통합된 일관된 프레임워크로 통합한다.
• 최종 추정기는 증명 가능하게 편향이 없으며, 게임의 구조와 알려진 전략을 활용함으로써 분산 감소를 달성한다.

실험 결과

연구 질문

• RQ1 확률적 사건과 전략이 알려진 플레이어 행동을 모두 고려함으로써 에이전트 평가의 분산을 크게 줄일 수 있는가?
• RQ2 제어 변수와 가상 관찰을 조합하면 기존 방법보다 분산이 더 낮고 증명 가능하게 편향이 없는 추정기가 도출되는가?
• RQ3 AIVAT는 비완전 정보 게임에서 통계적으로 유의미한 결론을 도출하기 위해 필요한 게임 샘플 수를 어느 정도 줄일 수 있는가?
• RQ4 실제 응용 사례인 HUNL 포커에서 가치 함수 추정치가 불완전할 경우 성능은 얼마나 떨어지는가?
• RQ5 다양한 게임 상황에서 AIVAT는 MIVAT 및 MIVAT+IO와 같은 최첨단 기법보다 분산 감소 성능에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 유사 전략을 가진 작은 Leduc 홀드'em 게임에서 AIVAT는 원시 칩 수치 대비 표준편차를 75% 감소시켰으며, MIVAT+IO 대비 48%에서 75%까지 성능 향상을 보였다.
• 약한 나시 근사 전략을 사용하는 자기대전 HUNL 환경에서 AIVAT는 표준편차를 칩 수치 기준 25.962에서 8.095로 감소시켜 69% 감소를 달성했다.
• 약한 에이전트를 강한 상대와 대결시킨 HUNL 환경에서 AIVAT는 표준편차를 26.308에서 8.301로 감소시켜 68% 감소를 기록했으며, 가치 함수 추정치가 불완전함에도 불구하고 성능 유지를 보였다.
• 부적절한 가치 함수를 사용하더라도 AIVAT는 HUNL에서 68% 이상의 분산 감소를 달성했으며, MIVAT+IO(39% 감소)에 비해 뚜렷한 성능 우위를 보였다.
• AIVAT를 적용하면 HUNL에서 통계적 유의미성을 확보하기 위해 필요한 게임 수가 기존 방법 대비 10배 이상 감소한다.
• 가치 함수가 정확하지 않더라도 AIVAT는 여전히 증명 가능하게 편향이 없으며, 추정기의 정직성과 신뢰성을 유지한다.