[논문 리뷰] Distributionally Robust Games: f-Divergence and Learning

Dario Bauso, Jian Gao외 1명|arXiv (Cornell University)|2017. 02. 17.

Agricultural risk and resilience인용 수 4

한 줄 요약

이 논문은 f-분산을 사용하여 분포 불확실성을 모델링하는 분포로 부터의 강건한 게임을 제안하며, 적대적인 분포 이동 상황에서도 강건한 나시 균형을 달성한다. 삼중성 이론 기반 차원 축소 및 확률적 브레그만 학습 알고리즘을 제안하여 이중 지수 수렴 속도를 달성하며, 수렴 속도와 강건성 면에서 기존의 경사 하강 동역학보다 뛰어나며, 다중 모달 목적 함수가 존재하는 비볼록 설정에서도 성능이 뛰어나다.

ABSTRACT

In this paper we introduce the novel framework of distributionally robust games. These are multi-player games where each player models the state of nature using a worst-case distribution, also called adversarial distribution. Thus each player's payoff depends on the other players' decisions and on the decision of a virtual player (nature) who selects an adversarial distribution of scenarios. This paper provides three main contributions. Firstly, the distributionally robust game is formulated using the statistical notions of $f$-divergence between two distributions, here represented by the adversarial distribution, and the exact distribution. Secondly, the complexity of the problem is significantly reduced by means of triality theory. Thirdly, stochastic Bregman learning algorithms are proposed to speedup the computation of robust equilibria. Finally, the theoretical findings are illustrated in a convex setting and its limitations are tested with a non-convex non-concave function.

연구 동기 및 목표

• 베이지안 및 분포 무관 게임 모델의 한계를 해결하기 위해, 분포 간 f-분산을 통해 불확실성을 모델링하는 새로운 프레임워크를 도입한다.
• 삼중성 이론을 활용하여 강건한 게임 문제에서 차원의 저주를 극복하고, 강건한 균형의 효율적 계산을 가능하게 한다.
• 강건한 균형으로의 수렴 속도를 가속화하는 브레그만 기반 학습 알고리즘을 개발하며, 강력한 볼록성 가정이 필요로 하지 않는다.
• 다양한 볼록 및 비볼록 설정, 특히 다중 모달 수익 함수가 존재하는 경우에도 방법의 효과성을 입증한다.
• 혼합 전략 볼록화를 통해 유한한 행동 공간으로의 프레임워크 확장을 다루며, 강건한 혼합 균형의 존재성을 증명한다.

제안 방법

• 진짜 분포 주위에 분산 볼을 정의하기 위해 f-분산을 사용하여 분포로 부터의 강건한 게임을 수립함으로써, 악성 분포의 최악의 경우를 모델링한다.
• 무한 차원의 최대-최소 문제를 유한 차원의 쌍대 문제로 변환하기 위해 삼중성 이론을 적용함으로써 계산 복잡도를 감소시킨다.
• 브레그만 발산 기반의 브레그만 역학을 제안하여 수렴 속도를 가속화하며, 이중 지수 감쇠의 이론적 보장을 제공한다.
• 고차원 및 비볼록 설정에서 강건한 균형을 근사하기 위해 입자 군집을 사용한 확률적 브레그만 학습을 구현한다.
• f-분산 생성자(예: 지수 가족에 대한 로그-합-지수)의 레전드르-펜첼 쌍대를 사용하여 쌍대 표현을 유도한다.
• 브레그만 플로우를 단일 에이전트 및 다중 에이전트 설정에 적용하여, 분포로 부터의 강건한 균형으로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 시스템에서 분포 불확실성을 모델링하기 위해 f-분산을 사용하여 분포로 부터의 강건한 게임을 어떻게 공식화할 수 있는가?
• RQ2 삼중성 이론을 활용하여 분포로 부터의 강건한 게임 문제의 차원을 줄일 수 있으며, 균형의 존재를 보장할 수 있는가?
• RQ3 볼록 및 비볼록 게임에서 브레그만 기반 학습은 표준 경사 하강 동역학과 비교해 수렴 속도와 강건성 면에서 어떻게 다른가?
• RQ4 다중 국소 최대값이 존재하는 비볼록, 다중 모달 수익 함수에서 확률적 브레그만 학습의 성능은 어떠한가?
• RQ5 혼합 전략 볼록화를 통해 프레임워크를 유한 행동 공간으로 확장할 수 있으며, 강건한 균형의 존재를 보장하는 조건은 무엇인가?

주요 결과

• 1000개의 샘플을 사용한 볼록 케이스에서, 확률적 브레그만 학습 알고리즘이 고전적 경사 하강 동역학보다 약 20배 빠른 속도로 수렴함을 확인하였다.
• 브레그만 역학에 대해 이중 지수 감쇠가 이론적으로 입증되었으며, 이는 분포로 부터의 강건한 균형으로의 빠른 수렴을 나타낸다.
• 다중 모달 목적 함수가 존재하는 비볼록 설정에서, 브레그만 알고리즘이 (7.9, 7.9)에서 강건한 내쉬 균형으로 성공적으로 수렴하였으며, 균형 성능는 약 7.88 수준이었다.
• 다른 초기화 조건 하에서, 강건한 균형 (7.9, 7.9)에서 국소 최대값 (7.9, 5.1)으로의 전이가 관찰되었을 때에도 알고리즘이 강건성을 유지함을 확인하였다.
• 적절한 조건 하에서 분포로 부터의 강건한 균형의 존재성이 증명되었으며, 혼합 전략 볼록화를 통해 유한 행동 공간에 대해서도 해당 조건이 적용됨을 보였다.
• 이 방법은 강력한 볼록성 가정을 필요로 하지 않으며, 이는 고전적 경사 기반 접근과의 차이를 이루며 더 넓은 적용 가능성을 제공한다.