[논문 리뷰] Information Relaxations and Dynamic Zero-Sum Games

Martin B. Haugh, Chun Wang|arXiv (Cornell University)|2014. 05. 17.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 4

한 줄 요약

이 논문은 최적의 가치에 대한 이중 하한 및 상한을 구축하기 위해 정보 이완 기법을 적용하여, 최적 반응 문제의 해가 계산적으로 불가능한 경우에도 동적 제로합 게임의 최적 가치에 대해 유한한 경계를 제공한다. 부분 최적 정책에서 유도된 이중 페널티를 활용함으로써 정책 품질을 검증할 수 있는 날카운 경계를 달성하였으며, 이는 2단계 행렬 게임과 산업 폐기물 점검 게임에서 몇 차례 정책 반복 후 경계가 급격히 수렴하는 것으로 확인되었다.

ABSTRACT

Dynamic zero-sum games are an important class of problems with applications ranging from evasion-pursuit and heads-up poker to certain adversarial versions of control problems such as multi-armed bandit and multiclass queuing problems. These games are generally very difficult to solve even when one player's strategy is fixed, and so constructing and evaluating good sub-optimal policies for each player is an important practical problem. In this paper, we propose the use of information relaxations to construct dual lower and upper bounds on the optimal value of the game. We note that the information relaxation approach, which has been developed and applied successfully to many large-scale dynamic programming problems, applies immediately to zero-sum game problems. We provide some simple numerical examples and identify interesting issues and complications that arise in the context of zero-sum games.

연구 동기 및 목표

• 정확한 해법이 계산적으로 불가능한 대규모 동적 제로합 게임에서 부분 최적 정책 쌍의 평가 문제를 다루는 것.
• 최적 반응 문제의 해가 직접적으로 해결하기에 너무 복잡한 경우에도 정보 이완을 활용하여 최적 게임 가치에 대한 이중 경계를 개발하는 것.
• 부분 최적 정책 근사치에서 유도된 이중 페널티를 통해 날카운 이중 경계를 확보하고, 이로써 성능 인증이 가능하도록 하는 것.
• 특히 불완전 정보 및 적대적 제어 설정에서 정보 이완을 적용할 때 발생하는 고유한 과제를 식별하고 분석하는 것.

제안 방법

• 유한한 상태 공간과 행동 공간을 갖는 동적 제로합 게임를 수식화하며, 플레이어 A는 할인 기대 비용을 최대화하고, 플레이어 B는 이를 최소화한다.
• 원래 약간의 동적 프로그래밍에 사용된 정보 이완 접근법을 적용하여 최적 게임 가치에 대한 이중 하한 및 상한을 구축한다.
• Rogers [9]와 Brown 및 Haugh [19]의 약형 이중 접근법을 따르며, 부분 최적 정책 쌍의 가치 함수에서 유도된 이중 타당 페널티를 사용한다.
• 전이 측도 Q는 행동에 의존하지 않으며, 흡수 상태를 제외한 모든 상태로 균일하게 확률 질량을 재분배하여, 이중 내부 문제를 다룰 수 있도록 한다.
• 시뮬레이션 경로에 대한 몬테카를로 시뮬레이션을 사용하여 이중 경계를 계산하며, 게임의 구조와 정책 품질에 맞게 페널티를 조정한다.
• 정책 반복을 활용하여 부분 최적 정책를 점진적으로 개선하고, 이중 경계가 진정한 게임 가치로 수렴하는지 관찰한다.

실험 결과

연구 질문

• RQ1 최적 반응 문제의 해가 계산적으로 불가능한 경우, 정보 이완 기법을 동적 제로합 게임의 최적 가치를 경계하는 데 효과적으로 적용할 수 있는가?
• RQ2 부분 최적 정책에서 유도된 이중 경계는 진정한 최적 게임 가치를 얼마나 잘 반영하는가? 그리고 수렴 속도는 어떠한가?
• RQ3 불완전 정보 또는 적대적 제어 역학을 갖는 제로합 게임에 정보 이완을 적용할 때 발생하는 과제는 무엇인가?
• RQ4 이중 경계를 사용하여 대규모 게임에서 부분 최적 정책 쌍의 성능을 인증할 수 있는가?

주요 결과

• 산업 폐기물 점검 게임에서 정책 반복 2회 후 최적 게임 가치에 대한 이중 경계가 매우 날카럽게 수렴하였으며, 초기에 넓은 간격에서 크게 좁아졌다.
• 초기의 난이도 정책 쌍에 대한 이중 경계는 매우 넓었는데, 하한은 128.8, 상한은 365.5였으며, 이는 초기 근사치의 품질이 열 劣함을 시사한다.
• 강한 이중성에 따르면, 가치 함수에 대한 더 나은 근사는 더 날카운 이중 경계를 제공하며, 이는 반복 후 빠른 수렴을 통해 경험적으로 확인되었다.
• 정확한 해법 대신 이중 이완을 사용함으로써 제로합 게임에서 최적 반응 계산의 복잡성을 효과적으로 다루었으며, 성능 인증이 가능해졌다.
• 불완전 정보 설정에서도 이 방법은 탄력적으로 유지되며, 서로 다른 경로, 페널티 또는 전이 측도 Q를 사용하여 하한 및 상한을 별도로 구성할 수 있다.