[논문 리뷰] Efficient Strategy Computation in Zero-Sum Asymmetric Repeated Games

Lichun Li, Jeff S. Shamma|arXiv (Cornell University)|2017. 03. 06.

Infrastructure Resilience and Vulnerability Analysis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 한 명의 플레이어가 우월한 정보를 지닌 제로섬 비대칭 반복 게임에서 보안 전략을 계산하기 위한 효율적인 선형 프로그래밍(LP) 설정을 제안한다. 전략이 정보를 가진 플레이어의 행동 이력에만 의존함을 고려하여, 계산 복잡도를 정보가 없는 플레이어의 행동 집합 크기 선형으로 줄여 유한한 수의 단계와 할인된 무한한 수의 단계 게임에 대해 확장 가능한 해법을 가능하게 하며, 근사치에 대한 성능 한계도 제공한다.

ABSTRACT

Zero-sum asymmetric games model decision making scenarios involving two competing players who have different information about the game being played. A particular case is that of nested information, where one (informed) player has superior information over the other (uninformed) player. This paper considers the case of nested information in repeated zero-sum games and studies the computation of strategies for both the informed and uninformed players for finite-horizon and discounted infinite-horizon nested information games. For finite-horizon settings, we exploit that for both players, the security strategy, and also the opponent's corresponding best response depend only on the informed player's history of actions. Using this property, we refine the sequence form, and formulate an LP computation of player strategies that is linear in the size of the uninformed player's action set. For the infinite-horizon discounted game, we construct LP formulations to compute the approximated security strategies for both players, and provide a bound on the performance difference between the approximated security strategies and the security strategies. Finally, we illustrate the results on a network interdiction game between an informed system administrator and uniformed intruder.

연구 동기 및 목표

• 제로섬 비대칭 반복 게임에서 보안 전략을 계산하는 데 있어 계산적으로 효율적인 방법을 개발하는 것.
• 완전기억 조건을 비대칭 게임에서 완화하기 위해 전략이 정보를 가진 플레이어의 행동 이력에만 의존함을 보여주는 것.
• 정보가 없는 플레이어의 행동 집합 크기와 선형적으로 의존하는 LP 설정을 설계하여 이전의 다항식 시간 방법보다 향상된 것.
• 할인된 무한한 수의 단계 게임으로 결과를 확장하고, 근사된 보안 전략에 대한 성능 한계를 제공하는 것.
• 사례 연구를 통해 접근 방식을 검증하는 것 — 네트워크 차단 게임

제안 방법

• 정보가 없는 플레이어의 행동 이력에 대한 의존성을 제거함으로써 순서 형태를 정밀화하여, 전략 계산이 정보를 가진 플레이어의 이력에만 의존하도록 하는 것.
• 정보가 없는 플레이어의 행동 집합 크기와 선형적으로 증가하는 복잡도를 가지는 유한한 수의 단계 게임에 대한 LP 설정을 구성하는 것.
• 무한한 수의 단계 게임의 경우, 유한한 회귀와 할인된 가치 함수를 사용하여 보안 전략의 LP 근사치를 유도하는 것.
• 무한한 수의 단계 설정에서 공격자의 상태 표현을 압축하기 위해 반할인된 회귀 기반의 충분통계량을 사용하는 것.
• 수렴 한계를 적용하여 근사된 전략과 진짜 보안 전략 간의 성능 차이를 정량적으로 제어하는 것.
• 3단계 네트워크 차단 게임과 10단계 할인된 게임(100회 시뮬레이션)을 통해 접근 방식을 검증하는 것.

실험 결과

연구 질문

• RQ1 정보가 없는 플레이어의 행동 집합 크기 선형 비례로 유한한 수의 단계 비대칭 반복 게임에서 보안 전략를 계산할 수 있는가?
• RQ2 최적의 전략 계산을 잃지 않으면서 비대칭 반복 게임에서 완전기억 조건을 어떻게 완화할 수 있는가?
• RQ3 할인된 무한한 수의 단계 비대칭 게임에서 근사된 전략과 진짜 전략 간의 성능 격차는 얼마인가?
• RQ4 무한한 수의 단계 설정에서 정보가 없는 플레이어를 위한 압축된 충분통계량을 유도할 수 있는가?
• RQ5 믿음 갱신과 보상 한계는 반복 비대칭 게임에서 전략 수렴에 어떤 영향을 미치는가?

주요 결과

• 유한한 수의 단계 게임에서의 LP 설정은 정보가 없는 플레이어의 행동 집합 크기 선형 비례로 확장되며, 이는 이전의 다항식 시간 방법보다 크게 향상되었다.
• 3단계 네트워크 차단 게임에서 평균 수익은 6.58로, 계산된 게임 값 6.57과 매우 유사하여, 유한한 수의 단계 방법이 검증되었다.
• 0.7 할인율을 가진 게임에서 초기 믿음이 [0.5, 0.5]일 때 근사된 게임 값은 2.24로 수렴하였으며, 믿음 상태에 따라 적응적인 행동을 보이는 전략이 나타났다.
• 공격자의 근사 전략은 반할인된 회귀 벡터에 따라 믿음이 더 높은 대역폭을 가진 채널에서 차단 확률을 높여 수익을 균형 잡는 데 기여했다.
• 10단계 할인된 게임에서 평균 수익은 2.35였으며, 예상 구간 [1.96, 2.59] 내에 포함되어 이론적 한계가 확인되었다.
• 근사된 전략과 진짜 보안 전략 간의 성능 격차는 제한되어 있었으며, 할인된 가치 함수와 회귀 지표를 사용하여 이론적 보장을 도출하였다.