[논문 리뷰] Distributionally Robust Games, Part I: f-Divergence and Learning.

Dario Bauso, Jian Gao외 1명|arXiv (Cornell University)|2017. 02. 17.

Risk and Portfolio Optimization참고 문헌 10인용 수 1

한 줄 요약

이 논문은 f-divergence를 사용하여 자연의 최악의 분포를 모델링함으로써 분포로 안정적인 게임을 제안하며, 삼중성 이론을 통해 복잡도를 감소시키고, 강화된 Bregman 학습 알고리즘을 제안하여 안정된 균형을 계산한다. 이 접근법은 볼록 및 비볼록 설정에서 검증되었으며, 더 높은 안정성과 계산 효율성을 보여준다.

ABSTRACT

In this paper we introduce the novel framework of distributionally robust games. These are multi-player games where each player models the state of nature using a worst-case distribution, also called adversarial distribution. Thus each player's payoff depends on the other players' decisions and on the decision of a virtual player (nature) who selects an adversarial distribution of scenarios. This paper provides three main contributions. Firstly, the distributionally robust game is formulated using the statistical notions of f-divergence between two distributions, here represented by the adversarial distribution, and the exact distribution. Secondly, the complexity of the problem is significantly reduced by means of triality theory. Thirdly, stochastic Bregman learning algorithms are proposed to speedup the computation of robust equilibria. Finally, the theoretical findings are illustrated in a convex setting and its limitations are tested with a non-convex non-concave function.

연구 동기 및 목표

• 플레이어가 최악의 분포를 통해 분포 불확실성을 고려하는 다중 플레이어 게임을 위한 새로운 프레임워크를 개발한다.
• 진짜 분포와 적대적 분포 간의 차이를 측정하는 f-divergence를 사용하여 강화된 게임을 수식화한다.
• 강화된 최적화 문제에 삼중성 이론을 적용하여 계산 복잡도를 감소시킨다.
• 강화된 균형을 계산하기 위한 효율적인 확률적 Bregman 학습 알고리즘을 설계한다.
• 프레임워크를 볼록 및 비볼록 비볼록 설정에 적용하여 그 한계와 안정성을 평가한다.

제안 방법

• 자연을 f-divergence 최소화를 통해 적대적 분포를 선택하는 가상의 플레이어로 모델링하여 분포로 안정적인 게임을 수립한다.
• 삼중성 이론을 적용하여 강화된 최적화 문제를 더 다룰 수 있는 형태로 변형함으로써 계산 복잡도를 감소시킨다.
• Bregman 발산 정규화를 사용한 기울기 유사 업데이트를 반복적으로 적용하여 플레이어 전략을 업데이트하는 확률적 Bregman 학습 알고리즘을 도입한다.
• f-divergence의 쌍대 표현을 사용하여 강화된 수익을 분포 불확실성 집합 위의 최악의 기대값으로 표현한다.
• 적대적 분포 선택으로 인해 발생하는 최소-최대 구조를 다루기 위해 안장점 공식을 사용한다.
• 볼록 케이스에서는 볼록 완화 접근법을 사용하고, 비볼록 설정으로는 반복적 학습 역학을 통해 확장한다.

실험 결과

연구 질문

• RQ1 다중 플레이어 게임은 자연 상태의 분포 불확실성을 강화 최적화 원리를 통해 어떻게 확장할 수 있는가?
• RQ2 f-divergence는 강화된 게임이론적 설정에서 적대적 분포의 불확실성 집합을 모델링하는 데 어떤 역할을 하는가?
• RQ3 삼중성 이론은 분포로 안정적인 게임을 해결하는 데 있어 계산 복잡도를 감소시키는 데 활용될 수 있는가?
• RQ4 확률적 Bregman 학습 알고리즘이 볼록 및 비볼록 설정 모두에서 강화된 균형에 수렴하는 데 어떻게 작용하는가?
• RQ5 비볼록 비볼록 수익 함수에 적용했을 때 제안된 프레임워크의 한계는 무엇인가?

주요 결과

• f-divergence의 사용은 게임 이론 모델 내에서 자연 상태의 분포 불확실성을 원칙적이고도 탄력적으로 모델링할 수 있게 한다.
• 삼중성 이론은 비볼록 최소-최대 문제를 더 다룰 수 있는 형태로 변형함으로써 분포로 안정적인 게임을 해결하는 데 있어 계산 복잡도를 크게 감소시킨다.
• 확률적 Bregman 학습 알고리즘은 볼록 설정에서 강화된 균형에 수렴하며, 계산 효율성과 안정성을 입증한다.
• 비볼록 비볼록 설정에서는 제안된 알고리즘이 여전히 수렴을 달성하지만, 수렴 속도가 느리고 초기화에 민감할 수 있다.
• 이 프레임워크는 분포 변화가 발생할 경우 최악의 행동을 효과적으로 포착하여 기존 게임 이론 모델 대비 더 높은 안정성을 확보한다.
• 실험 결과는 강화된 균형이 분포 변화에 덜 민감하며, 이는 이론적 안정성 특성을 검증한다.