[논문 리뷰] Multiplayer Performative Prediction: Learning in Decision-Dependent Games

Adhyyan Narang, Evan Faulkner외 3명|arXiv (Cornell University)|2022. 01. 10.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 경쟁적 기계학습 환경에서 의사결정에 따라 변화하는 데이터 분포를 모델링하는 게임 이론적 프레임워크인 다중 플레이어 성과 예측을 소개한다. 반복적 재학습 및 경량화 방법이 성과적으로 안정된 균형에 수렴하는 조건을 확립하고, 적응형 및 도함수 기반 알고리즘을 통한 효율적인 내쉬 균형 계산을 가능하게 하는 강한 단조성에 대한 충분조건을 제시하며, 실험을 통해 전략적 모델링이 라이드셰어 및 대출 시장에서 성과를 향상시킴을 보여준다.

ABSTRACT

Learning problems commonly exhibit an interesting feedback mechanism wherein the population data reacts to competing decision makers' actions. This paper formulates a new game theoretic framework for this phenomenon, called "multi-player performative prediction". We focus on two distinct solution concepts, namely (i) performatively stable equilibria and (ii) Nash equilibria of the game. The latter equilibria are arguably more informative, but can be found efficiently only when the game is monotone. We show that under mild assumptions, the performatively stable equilibria can be found efficiently by a variety of algorithms, including repeated retraining and the repeated (stochastic) gradient method. We then establish transparent sufficient conditions for strong monotonicity of the game and use them to develop algorithms for finding Nash equilibria. We investigate derivative free methods and adaptive gradient algorithms wherein each player alternates between learning a parametric description of their distribution and gradient steps on the empirical risk. Synthetic and semi-synthetic numerical experiments illustrate the results.

연구 동기 및 목표

• 다수의 의사결정자가 행동에 따라 변화하는 데이터 분포에 반응하는 기계학습에서의 전략적 피드백을 모델링하기 위해.
• 이러한 상호작용적이고 의사결정에 따라 변화하는 학습 문제를 분석하기 위한 새로운 게임 이론적 프레임워크인 다중 플레이어 성과 예측을 체계화하기 위해.
• 두 가지 해법 개념인 성과적으로 안정된 균형(반복적 재학습에서 흔함)과 내쉬 균형(더 유용하지만 계산이 더 어려움)을 분석하기 위해.
• 적응형 및 도함수 기반 방법을 사용한 내쉬 균형의 효율적 계산을 가능하게 하는 강한 단조성에 대한 충분조건을 확립하기 위해.
• 실증적으로 성과 효과를 모델링하면 라이드셰어 및 대출 시장과 같은 경쟁적 환경에서 더 나은 성과를 얻을 수 있음을 보여주기 위해.

제안 방법

• 모든 플레이어의 행동에 따라 각 플레이어의 데이터 분포가 달라지는 게임 이론적 모델을 제안하여 학습에서의 전략적 피드백을 포괄한다.
• 반복적 재학습의 고정점으로서 성과적으로 안정된 균형을 정의하고, 부드러움, 볼록성, 리프시츠 조건 하에서 존재성과 유일성을 보여준다.
• 반복적 재학습 및 (스토하스틱) 경량화 방법이 성과적으로 안정된 균형으로 수렴하는 것을 분석하며, 단일 플레이어 최상의 성과를 달성하는 유한 시간 반복 복잡도를 확보한다.
• 게임의 강한 단조성을 위한 투명한 충분조건을 유도하여 내쉬 균형의 효율적 계산을 가능하게 한다.
• 플레이어들이 파라미터화된 분포를 학습하고 경험 위험 경량화 기반으로 업데이트하는 방식으로 번갈아가며 작동하는 도함수 기반 및 적응형 경량화 알고리즘을 개발한다.
• 일정한 스텝 사이즈를 사용한 스토하스틱 경량화 하강법을 사용하여 균형을 계산하며, 실험적으로 단기적(미래를 고려하지 않는)과 장기적(미래를 고려하는) 업데이트를 비교한다.

실험 결과

연구 질문

• RQ1 다중 플레이어 의사결정에 따라 변화하는 학습 환경에서 반복적 재학습이 성과적으로 안정된 균형으로 수렴하는 조건은 무엇인가?
• RQ2 다중 플레이어 성과 예측 게임에서 내쉬 균형을 효율적으로 계산할 수 있는 조건는 무엇인가?
• RQ3 경쟁적 학습 환경에서 전략적 모델링과 경쟁자 행동에 대한 인식은 성과에 어떤 영향을 미치는가?
• RQ4 경쟁으로 인한 데이터 분포 변화에서 성과 효과를 忽시할 경우 실증적으로 어떤 결과가 초래되는가?
• RQ5 라이드셰어 시장과 같은 실생활 응용에서 경량화 업데이트에 성과 피드백을 포함할 경우 수익과 수요에 어떤 영향을 미치는가?

주요 결과

• 부드러움, 볼록성, 리프시츠 조건의 온건한 가정 하에서 성과적으로 안정된 균형은 존재하고 유일하며, 반복적 재학습 및 경량화 방법을 통해 효율적으로 찾을 수 있다.
• 성과적으로 안정된 균형을 찾는 경량화 기반 방법의 반복 복잡도는 단일 플레이어 설정에서 최상의 성과를 달성하는 것으로 축소된다.
• 강한 단조성을 위한 충분조건이 도출되었으며, 이는 적응형 및 도함수 기반 알고리즘을 사용한 내쉬 균형의 효율적 계산을 가능하게 한다.
• 라이드셰어 실험에서 성과 효과를 모델링함으로써, 대부분의 지역에서 수요가 감소했음에도 불구하고 양 플레이어의 수익이 증가했으며, 이는 균형에서 가격이 상승했기 때문이다.
• 적어도 한 플레이어가 부분적으로 단기적(자신의 영향은 인지하지만 경쟁자의 영향은 인지하지 못함)일 경우, 내쉬 균형은 양 플레이어의 수익을 더 높게 만들어준다.
• 다른 플레이어가 완전히 단기적일 경우, 비단기적 플레이어는 내쉬 균형에서 더 나쁜 성과를 보이며, 이는 전략적 인식이 최적의 성과를 위해 필수적임을 시사한다.