[논문 리뷰] Approximating Nash Equilibria for Black-Box Games: A Bayesian Optimization Approach

Abdullah Al-Dujaili, Erik Hemberg외 1명|arXiv (Cornell University)|2018. 04. 27.

Gaussian Processes and Bayesian Inference참고 문헌 6인용 수 3

한 줄 요약

이 논문은 비용이 많이 들고 노이즈가 많은 검은 상자 연속 게임에서 나시 균형을 근사하기 위한 베이지안 최적화 프레임워크 BN을 제안한다. 계층적 또는 이산화된 방법과는 달리, BN은 가우시안 프로세스를 사용하여 연속 전략 공간에서 전체 게임을 공동으로 학습하고 회귀를 추정함으로써, 25회 이하의 함수 평가로도 고차원적이고 노이즈가 많은 환경에서 유의미하게 낮은 회귀를 달성한다.

ABSTRACT

Game theory has emerged as a powerful framework for modeling a large range of multi-agent scenarios. Many algorithmic solutions require discrete, finite games with payoffs that have a closed-form specification. In contrast, many real-world applications require modeling with continuous action spaces and black-box utility functions where payoff information is available only in the form of empirical (often expensive and/or noisy) observations of strategy profiles. To the best of our knowledge, few tools exist for solving the class of expensive, black-box continuous games. In this paper, we develop a method to find equilibria for such games in a sequential decision-making framework using Bayesian Optimization. The proposed approach is validated on a collection of synthetic game problems with varying degree of noise and action space dimensions. The results indicate that it is capable of improving the maximum regret in noisy and high dimensions to a greater extent than hierarchical or discretized methods.

연구 동기 및 목표

• 비용이 많이 들고 노이즈가 많은 검은 상자 연속 게임에서 나시 균형을 찾는 데 있어 확장 가능하고 일반적인 방법의 부족을 해결한다.
• 전략 공간의 양자화 또는 이중 최적화에 의존하는 기존 방법의 한계를 극복한다.
• 격자 제약 없이 전체 연속 행동 공간에서 직접 작동하는 프레임워크를 개발한다.
• 최신 기준 대비 고차원적이고 노이즈가 많은 게임 환경에서 회귀 최소화를 향상시킨다.
• 재현 가능성과 경험적 게임이론 연구 분야에서의 광범위한 채택을 위해 공개된 구현을 제공한다.

제안 방법

• 모든 플레이어의 수익 함수를 가우시안 프로세스(GPs)로 모델링하여 알 수 없는 유틸리티 함수에 대한 확률적 추론을 가능하게 한다.
• 반복적인 최적 반응 동역학을 통해가 아니라, 학습된 GP 사후 평균을 최적화하여 局부 최대값을 찾는 방식으로 최적 반응을 근사한다.
• 이완점 탐색 문제를 양자화된 이중 루프를 피하는 단일 수준의 최적화 문제로 평면화하여, 계산 비용이 높은 양자화된 최적화를 방지한다.
• 탐색과 이용의 균형을 이루기 위해 순차적 전략 프로파일 샘플링을 이끌기 위해 할당 함수(예: 기대 개선도)를 사용한다.
• 정확한 및 노이즈가 있는 최적 반응 수익의 근사치를 사용하여 게임 이론적 회귀를 추정하며, 후자는 탐색을 향상시킨다.
• 새로운 수익 관측치로 GP 모델을 반복적으로 업데이트하고, 수렴하거나 예산 소진 시까지 균형 추정치를 개선한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화 프레임워크가 비용이 많이 들고 노이즈가 많은 검은 상자 연속 게임에서 나시 균형을 효과적으로 근사할 수 있는가?
• RQ2 노이즈와 고차원성 하에서, 제안된 BN 방법의 성능은 계층적 또는 이산화된 접근법(GPG 등)과 비교해 어떻게 되는가?
• RQ3 노이즈가 있는 회귀 근사치를 사용할 경우 탐색이 향상되고 정확한 회귀 계산보다 더 나은 수렴을 이끌어내는가?
• RQ4 나시 균형이 격자에서 이격되거나 정렬되지 않은 경우, 연속 전략 공간 표현이 격자 기반 방법보다 얼마나 우수한가?
• RQ5 합성 게임 환경에서 차원 수와 함수 평가 횟수가 증가함에 따라 이 방법은 어떻게 스케일링되는가?

주요 결과

• 25회 이상의 함수 평가를 통해 BN은 GPG 및 BR 방법에 비해 노이즈가 많고 고차원적인 게임에서 유의미하게 낮은 회귀를 달성하며, 최종 회귀 수준도 낮춘다.
• 노이즈가 있는 회귀 근사치를 사용하는 BN-approx 버전은 대부분의 설정에서 BN-exact를 능가한다. 이는 노이즈가 탐색을 향상시키고 수렴을 개선한다는 것을 시사한다.
• 이격된 나시 균형 상황(예: Saddle.1 및 Saddle.2)에서 BN은 격자 이산화로 인해 제약을 받고 균형을 적응하지 못하는 GPG 변종보다 일관되게 뛰어난 성능을 보였다.
• GPG의 격자 크기(예: 11×11)를 초월하는 함수 평가 횟수에서도 BN은 낮은 회귀를 유지하며, 더 뛰어난 확장성과 적응성의 능력을 보였다.
• 세밀한 GPG 격자로 인한 메모리 문제를 피했으며, 예를 들어 93×93 격자는 메모리 할당 오류를 일으켰지만, BN은 여전히 더 낮은 회귀 성능을 달성했다.
• MOP 게임에서 BN-approx는 8회의 독립 실행 평균에서 가장 낮은 회귀를 기록했으며, 오차대역은 안정적인 수렴을 나타냈다.