[논문 리뷰] Inverse Game Theory for Stackelberg Games: the Blessing of Bounded Rationality

Jibang Wu, Weiran Shen외 2명|arXiv (Cornell University)|2022. 10. 04.

Opinion Dynamics and Social Influence인용 수 6

한 줄 요약

이 논문은 제약된 이성성 하에서 양자응답 모델을 사용하여 스택엘베르크 게임에서 수비수의 보상 매개변수를 학습하기 위한 새로운 역게임이론 프레임워크인 PURE를 제안한다. 비이성적 행동의 확률적 특성을 활용함으로써, 완전한 이성성 하에서의 통계적 난이도와는 달리, 증명 가능한 효율성 있는 학습을 달성한다. 이는 제약된 이성성이 순차적 게임에서 역학습에 있어 '복수'로 작용한다는 것을 보여준다.

ABSTRACT

Optimizing strategic decisions (a.k.a. computing equilibrium) is key to the success of many non-cooperative multi-agent applications. However, in many real-world situations, we may face the exact opposite of this game-theoretic problem -- instead of prescribing equilibrium of a given game, we may directly observe the agents' equilibrium behaviors but want to infer the underlying parameters of an unknown game. This research question, also known as inverse game theory, has been studied in multiple recent works in the context of Stackelberg games. Unfortunately, existing works exhibit quite negative results, showing statistical hardness and computational hardness, assuming follower's perfectly rational behaviors. Our work relaxes the perfect rationality agent assumption to the classic quantal response model, a more realistic behavior model of bounded rationality. Interestingly, we show that the smooth property brought by such bounded rationality model actually leads to provably more efficient learning of the follower utility parameters in general Stackelberg games. Systematic empirical experiments on synthesized games confirm our theoretical results and further suggest its robustness beyond the strict quantal response model.

연구 동기 및 목표

• 수비수의 보상이 알려져 있지 않지만, 균형 행동이 관찰되는 스택엘베르크 게임에서의 역게임이론 문제를 해결하기 위해.
• 완전한 이성성 가정 하에서의 역학습에 대한 통계적 및 계산적 난이도를 극복하기 위해.
• 제약된 이성성(양자응답(QR) 프레임워크로 모델링)이 수비수 보상 매개변수의 더 효율적인 학습을 가능하게 하는지 조사하기 위해.
• 제약된 이성성 하에서 역스택엘베르크 게임에 대해 실용적이고 증명 가능한 효율성 있는 학습 알고리즘을 개발하기 위해.
• 실제 환경에서 엄격한 QR 모델 가정을 위반할 경우에도 제안된 방법의 강건성을 실증적으로 평가하기 위해.

제안 방법

• 수비수의 균형 반응에 대한 쿼리를 통해 수비수 보상 매개변수를 학습하는 PURE(Utility Parameter Recovery via Exploration) 프레임워크를 제안한다.
• 수비수 행동을 양자응답(QR) 모델로 모델링하여, 보상 차이에 기반한 로짓 선택 확률을 통해 확률적 특성을 도입한다.
• 리더의 전략을 쿼리하고 수비수의 확률적 반응을 관찰함으로써 기저의 보상 행렬을 추정하는 반복적 학습 알고리즘을 설계한다.
• 특히 낮은 비이성성 영역에서 학습 효율성과 정확도를 균형 잡기 위해 탐색-이용 전략(예: PURE-Exp)을 통합한다.
• 특정 게임 유형(예: 보안 게임)의 구조적 통찰을 활용하여 수렴 속도를 가속화하고 샘플 효율성을 향상시킨다.
• 이론적 분석을 통해 PURE의 수렴 속도가 $\frac{1}{\lambda\sqrt{t}}$로 제한됨을 보여주며, 여기서 $\lambda$는 제약된 이성성 수준을 제어한다.

실험 결과

연구 질문

• RQ1 수비수 행동의 제약된 이성성이 완전한 이성성 대비 스택엘베르크 게임에서 보상 매개변수의 더 효율적인 역학습을 가능하게 하는가?
• RQ2 양자응답 모델이 행동 복잡성을 증가시키지만, 그로 인해 더 풍부한 정보 소스를 제공하는가?
• RQ3 제약된 이성성 수준($\lambda$)이 보상 복구의 샘플 복잡도와 수렴 속도에 어떻게 영향을 미치는가?
• RQ4 특정 게임 유형(예: 보안 게임)의 구조적 특성을 활용하여 역스택엘베르크 게임의 학습 효율성을 추가로 향상시킬 수 있는가?
• RQ5 실제 환경에서 엄격한 양자응답 모델 가정을 위반할 경우 제안된 방법의 강건성은 어떠한가?

주요 결과

• 제안된 PURE 알고리즘은 양자응답 모델 하에서 일반적인 스택엘베르크 게임에서 수비수 보상 매개변수의 증명 가능한 효율적 학습을 달성하며, 이는 완전한 이성성 하에서 관찰된 통계적 난이도와 대비된다.
• 실증 결과에 따르면 $\lambda$가 작을수록(더 높은 제약된 이성성일수록) 학습 수렴 속도가 빨라지며, 이는 이론적 $\frac{1}{\lambda\sqrt{t}}$ 수렴 속도와 일치한다.
• $\lambda$가 증가함에 따라(완전한 이성성에 가까워짐) 수렴 속도가 느려지고 성능이 악화되며, 이는 완전한 이성성 영역에서 알려진 통계적 난이도와 일치한다.
• 고정된 대규모 리더 전략 세트에 의존하는 기존의 오프라인 학습 설정보다 성능이 뛰어나며, 특히 수비수 반응이 더 노이즈가 많은 낮은 비이성성 영역에서 두드러진다.
• 게임 유형에 특화된 구조적 통찰(예: 보안 게임에서의 구조)을 통합하면 수렴 속도가 크게 향상되어 도메인 인식 최적화의 가치를 입증한다.
• 탐색과 이용을 균형 잡은 PURE-Exp는 수비수가 더 이성적일 경우 성능 향상을 이끌지만, $\lambda$가 증가함에 따라 성능 향상의 기여가 감소하며, 이는 딱딱한 영역으로의 전이를 확인한다.