[논문 리뷰] Extensive-Form Game Imperfect-Recall Abstractions With Bounds.

Christian Kroer, Tüomas Sandholm|arXiv (Cornell University)|2014. 09. 11.

Artificial Intelligence in Games참고 문헌 27인용 수 6

한 줄 요약

이 논문은 광범위한 형식의 게임에서 불완전기억 추상화의 나시 균형 및 근사 자가진동 균형에 대해 일반적이고 알고리즘에 종속되지 않는 해의 품질 보장을 처음으로 제시한다. 추상화를 새로운 거리 함수를 가진 군집화 문제로 환원함으로써, 증명 가능한 오차 한계를 가진 첫 번째 불완전기억 추상화 알고리즘을 설계하고, 입력 공간이 거리 공간을 이룰 조건을 규명한다.

ABSTRACT

Imperfect-recall abstraction has emerged as the leading paradigm for practical large-scale equilibrium computation in incomplete-information games. However, imperfect-recall abstractions are poorly understood, and only weak algorithm-specific guarantees on solution quality are known. In this paper, we show the first general, algorithm-agnostic, solution quality guarantees for Nash equilibria and approximate self-trembling equilibria computed in imperfect-recall abstractions, when implemented in the original (perfect-recall) game. Our results are for a class of games that generalizes the only previously known class of imperfect-recall abstractions where any results had been obtained. Further, our analysis is tighter in two ways, each of which can lead to an exponential reduction in the solution quality error bound. We then show that for extensive-form games that satisfy certain properties, the problem of computing a bound-minimizing abstraction for a single level of the game reduces to a clustering problem, where the increase in our bound is the distance function. This reduction leads to the first imperfect-recall abstraction algorithm with solution quality bounds. We proceed to show a divide in the class of abstraction problems. If payoffs are at the same scale at all information sets considered for abstraction, the input forms a metric space. Conversely, if this condition is not satisfied, we show that the input does not form a metric space. Finally, we use these results to experimentally investigate the quality of our bound for single-level abstraction.

연구 동기 및 목표

• 대규모 비완전정보 게임에서 불완전기억 추상화에 대한 일반적인 해의 품질 보장이 부족한 문제를 해결한다.
• 원래의 완전기억 게임으로 다시 매핑했을 때, 불완전기억 추상화에서 계산된 균형에 대한 일반적이고 알고리즘에 종속되지 않는 해의 품질 경계를 제공한다.
• 이러한 보장을 이전에 연구된 경우를 초월해 더 넓은 게임 클래스로 일반화한다.
• 추상화 품질과 군집화 사이의 연결 고리를 설정하며, 오차 경계가 입력 공간 내의 거리 함수에 대응한다.
• 다양한 보상 스케일 조건 하에서 추상화 입력의 거리 공간 성질을 조사한다.

제안 방법

• 기존 연구를 확장하여 더 넓은 적용 가능성을 가진 광범위한 형식의 게임 클래스를 정의한다.
• 추상화로 인해 발생하는 해의 품질 오차 증가를 측정하는 데 사용되는 새로운 거리 함수를 도입하며, 이는 경계 최소화의 기초가 된다.
• 정의된 거리 함수를 사용하여 단일 수준에서 경계를 최소화하는 추상화를 계산하는 문제를 군집화 문제로 환원한다.
• 정보집합 간에 보상이 동일한 척도를 가질 경우 입력 공간이 거리 공간을 이룬다는 것을 증명한다; 그렇지 않으면 그렇지 않다.
• 군집화 환원을 활용하여 증명 가능한 해의 품질 경계를 제공하는 첫 번째 불완전기억 추상화 알고리즘을 설계한다.
• 실험적 평가를 통해 단일 수준 추상화에 대해 유도된 오차 경계의 날카러움을 평가한다.

실험 결과

연구 질문

• RQ1 불완전기억 추상화에서 나시 균형 및 근사 자가진동 균형에 대해 일반적이고 알고리즘에 종속되지 않는 해의 품질 경계를 설정할 수 있는가?
• RQ2 해의 품질 오차를 최소화하는 추상화 문제는 잘 정의된 거리 함수를 가진 군집화 문제로 환원되는가?
• RQ3 추상화의 입력 공간이 거리 공간을 이룰 조건은 무엇인가?
• RQ4 정보집합 간 보상 스케일 조정이 추상화 입력의 거리 공간 구조에 어떤 영향을 미치는가?
• RQ5 단일 수준 추상화에 대해 실용적으로 유도된 오차 경계는 얼마나 날카로운가?

주요 결과

• 논문은 이전 결과보다 더 넓은 게임 클래스에 대해 유효한, 불완전기억 추상화에서 계산된 균형에 대해 처음으로 일반적이고 알고리즘에 종속되지 않는 해의 품질 보장을 확립한다.
• 해의 품질 오차 경계가 이전 결과보다 두 가지 방식으로 더 날카롭게 되어 있으며, 이는 오차 경계의 지수적 감소를 유도할 수 있다.
• 경계를 최소화하는 추상화를 계산하는 문제는 거리 함수가 해의 품질 오차 증가에 대응하는 군집화 문제로 환원된다.
• 정보집합 간에 보상이 동일한 척도를 가질 경우, 추상화의 입력 공간은 거리 공간을 이룬다; 그렇지 않으면 그렇지 않다.
• 제안된 추상화 알고리즘은 증명 가능한 해의 품질 경계를 제공하는 최초의 알고리즘이며, 광범위한 형식의 게임에서 이론적으로 타당한 추상화를 가능하게 한다.
• 실험적 평가 결과, 유도된 경계는 비어 있지 않으며 단일 수준 추상화에 대해 의미 있는 오차 추정치를 제공한다.