[논문 리뷰] On Game-Theoretic Risk Management (Part Two) -- Algorithms to Compute Nash-Equilibria in Games with Distributions as Payoffs

Stefan Raß|arXiv (Cornell University)|2015. 11. 27.

Decision-Making and Behavioral Economics참고 문헌 10인용 수 5

한 줄 요약

이 논문은 지ay가 확률 분포로 주어지는 두 명의 플레이어가 참가하는 제로섬 게임에서 내쉬 균형을 계산하는 데이터 기반 알고리즘 프레임워크를 제시한다. 지ay가 결정론적 값이 아닌 확률 분포일 경우를 고려하여, 지ay 밀도의 尾(꼬리) 근사와 선형 프로그래밍 기법을 통합한 수정된 허구적 플레이 방법을 도입함으로써 수렴성을 보장하고, 분포 지급에 기반한 다기준 보안 전략의 실용적 계산을 가능하게 한다.

ABSTRACT

The game-theoretic risk management framework put forth in the precursor work "Towards a Theory of Games with Payoffs that are Probability-Distributions" (arXiv:1506.07368 [q-fin.EC]) is herein extended by algorithmic details on how to compute equilibria in games where the payoffs are probability distributions. Our approach is "data driven" in the sense that we assume empirical data (measurements, simulation, etc.) to be available that can be compiled into distribution models, which are suitable for efficient decisions about preferences, and setting up and solving games using these as payoffs. While preferences among distributions turn out to be quite simple if nonparametric methods (kernel density estimates) are used, computing Nash-equilibria in games using such models is discovered as inefficient (if not impossible). In fact, we give a counterexample in which fictitious play fails to converge for the (specifically unfortunate) choice of payoff distributions in the game, and introduce a suitable tail approximation of the payoff densities to tackle the issue. The overall procedure is essentially a modified version of fictitious play, and is herein described for standard and multicriteria games, to iteratively deliver an (approximate) Nash-equilibrium. An exact method using linear programming is also given.

연구 동기 및 목표

• 지급이 결정론적 값이 아닌 확률 분포일 경우 내쉬 균형을 계산하는 실용적 알고리즘을 개발하여, 이론적 기반을 초월한 게임이론적 리스크 관리 응용을 가능하게 한다.
• 복잡한 분포 지급으로 인해 기존의 허구적 플레이가 수렴하지 못하는 문제를 해결한다.
• 다양한 상충되는 보안 목표를 동시에 고려하는 보안 전략을 계산하여 다기준 리스크 관리를 가능하게 한다.
• 특화된 근사 기법과 정확한 선형 프로그래밍 해법을 통해 분포 지급을 갖는 게임에서의 수렴성과 계산 가능성 보장을 확보한다.
• 실험 데이터와 시뮬레이션 기반 분포 추정을 바탕으로, 유틸리티 네트워크 및 유사 시스템과 같은 실제 리스크 관리에 적용 가능한 알고리즘을 제공한다.

제안 방법

• 실험 데이터(예: 시뮬레이션 출력)에서 컴 pact 지지(set)를 갖는 연속적 분포 모델을 구축하기 위해 에파네키니코프 커널 밀도 추정을 사용하여 유한 지지와 부드러움을 보장한다.
• 모멘트 지배 기반의 선호 관계를 적용: 분포 F₁ ≼ F₂ 이면 F₁의 모든 고차 모멘트가 F₂의 것보다 작거나 같다고 정의하여 리스크 프로파일을 비교할 수 있도록 한다.
• 이중 단계 근사 기법을 도입: 첫 번째 단계로 커널 밀도 추정, 두 번째 단계로 분포의 꼬리 부분에 대한 타일러 다항식 근사를 통해 꼬리 의존적 선호 순서를 유지한다.
• 분포 지급을 실수 값 행렬로 근사한 결과를 사용하여 허구적 플레이를 수정함으로써, 표준 반복 수렴 기법을 적용할 수 있도록 한다.
• 반복 방법에서 기인하는 수렴 문제를 피하기 위해 다목적 보안 전략을 계산하기 위한 정확한 선형 프로그래밍 해법을 제안한다.
• 다기준 게임을 가중치 기반 지급 집계를 통해 스칼라화된 형태로 변환하여, 방어자의 다목적 최적화 하에서 악성 공격자 전략의 최악의 경우를 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 지급이 결정론적 값이 아닌 확률 분포일 경우 내쉬 균형은 어떻게 계산할 수 있는가?
• RQ2 왜 표준 허구적 플레이가 분포 지급을 갖는 게임에서는 수렴하지 못하며, 이러한 실패는 어떻게 완화할 수 있는가?
• RQ3 어떤 근사 기법이 효율적인 계산을 가능하게 하면서도 핵심적인 리스크 선호 순서(꼬리 모멘트 기반)를 유지하는가?
• RQ4 다양한 상충되는 보안 목표를 동시에 고려하는 다기준 보안 전략은 어떻게 계산할 수 있는가?
• RQ5 선형 프로그래밍을 통해 이러한 게임에 대해 정확한 해를 구할 수 있으며, 반복 근사 방법과 비교해 볼 때 어떤가?

주요 결과

• 논문에서 제시한 반례를 통해, 나이브한 커널 밀도 추정을 사용할 경우 분포 지급을 갖는 게임에서 허구적 플레이가 수렴하지 않음을 입증하였다.
• 타일러 다항식을 통한 꼬리 근사가 중심 영역에서 정확도가 낮더라도, 모멘트 기반 선호 순서(F₁ ≼ F₂)를 유지함으로써 정확한 리스크 비교를 보장한다.
• 꼬리 근사를 통합한 수정된 허구적 플레이 알고리즘은 분포 지급을 갖는 게임에서 근사 내쉬 균형을 성공적으로 계산하여 수렴 문제를 해결한다.
• 선형 프로그래밍은 다목적 보안 전략을 정확하게 계산하는 방법을 제공하여, 반복 방법에서 기인하는 수렴 실패의 위험을 피할 수 있는 신뢰할 수 있는 대안이 된다.
• 다양한 보안 목표를 동시에 고려하는 방어자 전략 하에서 최악의 공격자 전략을 실용적으로 계산할 수 있으며, 계산된 전략이 방어자의 다목적 방어에 대해 강건함을 보장한다.
• 분포의 중심 영역에서의 근사 오차가 존재하더라도, 선호 관계가 오직 꼬리 모멘트에 의존하므로 메서드가 정확한 리스크 선호 순서를 식별한다.