[논문 리뷰] Sample-Efficient Learning of Stackelberg Equilibria in General-Sum Games

Yu Bai, Chi Jin외 2명|arXiv (Cornell University)|2021. 02. 23.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 11

한 줄 요약

이 논문은 밴딧 피드백 하에서 일반합계 두 명의 플레이어 게임에서 스택엘베르크 균형을 위한 첫 번째 샘플 효율적 학습 알고리즘을 수립한다. 여기서는 오직 노이즈가 섞인 보상 샘플들만 이용 가능하다. 이 논문은 유한 샘플에서 진짜 스택엘베르크 값과 그 추정치 사이에 본질적인 정보이론적 격차가 존재함을 밝히며, 이에 따라 샘플 복잡도에 대해 상하한이 일치하는 결과를 제시한다. 밴딧 게임에서는 $\widetilde{O}(AB/\varepsilon^2)$개의 샘플로 $({\sf gap}_\varepsilon + \varepsilon)$-근사 균형을 학습할 수 있으며, 밴딧-RL 게임에서는 $\widetilde{O}(H^5 S^2 AB / \varepsilon^2)$회의 에피소드가 필요하고, 선형 밴딧 게임에서는 $\widetilde{O}(d^2 / \varepsilon^2)$개의 샘플이 필요하다.

ABSTRACT

Real world applications such as economics and policy making often involve solving multi-agent games with two unique features: (1) The agents are inherently asymmetric and partitioned into leaders and followers; (2) The agents have different reward functions, thus the game is general-sum. The majority of existing results in this field focuses on either symmetric solution concepts (e.g. Nash equilibrium) or zero-sum games. It remains open how to learn the Stackelberg equilibrium -- an asymmetric analog of the Nash equilibrium -- in general-sum games efficiently from noisy samples. This paper initiates the theoretical study of sample-efficient learning of the Stackelberg equilibrium, in the bandit feedback setting where we only observe noisy samples of the reward. We consider three representative two-player general-sum games: bandit games, bandit-reinforcement learning (bandit-RL) games, and linear bandit games. In all these games, we identify a fundamental gap between the exact value of the Stackelberg equilibrium and its estimated version using finitely many noisy samples, which can not be closed information-theoretically regardless of the algorithm. We then establish sharp positive results on sample-efficient learning of Stackelberg equilibrium with value optimal up to the gap identified above, with matching lower bounds in the dependency on the gap, error tolerance, and the size of the action spaces. Overall, our results unveil unique challenges in learning Stackelberg equilibria under noisy bandit feedback, which we hope could shed light on future research on this topic.

연구 동기 및 목표

• 오직 노이즈가 섞인 밴딧 스타일 피드백만 제공될 때 일반합계 게임에서 스택엘베르크 균형을 학습하는 데 있어 이론적 이해의 부족을 해결하기 위해.
• 진짜 스택엘베르크 값과 그 유한 샘플 추정치 사이에 존재하는 본질적인 정보이론적 격차를 규명하고 정량화하기 위해.
• 이 격차를 고려하여 근사 최적에 가까운 스택엘베르크 균형을 달성하는 샘플 효율적 알고리즘을 개발하기 위해.
• 세 가지 대표적인 게임 설정인 밴딧 게임, 밴딧-RL 게임, 선형 밴딧 게임에서 샘플 복잡도에 대한 상하한이 일치하는 결과를 확립하기 위해.

제안 방법

• 유한 샘플에 의한 진짜 스택엘베르크 값과 추정치 사이의 격차를 측정하는 새로운 격차 측정치 $\mathsf{gap}_\varepsilon$를 도입한다.
• 밴딧 게임에 적합한 샘플 효율적 알고리즘을 제안하여 $\widetilde{O}(AB/\varepsilon^2)$개의 샘플로 $({\sf gap}_\varepsilon + \varepsilon)$-근사 스택엘베르크 균형을 달성한다.
• 보상이 없는 강화학습 기법을 응용하여 밴딧-RL 게임에서 수반자 MDP의 효율적 탐색을 가능하게 하여 $\widetilde{O}(H^5 S^2 AB / \varepsilon^2)$회의 에피소드로 빠른 수렴을 달성한다.
• 추정된 최적의 반응에 기반해 리더의 최적 혼합 전략을 계산하기 위해 선형 프로그래밍 기반 서브루틴인 BestMixedLeaderStrategy를 설계한다.
• 균일 수렴 추론을 활용하여 추정 오차를 제한하고, 부적합도가 식별된 격차와 허용 오차 $\varepsilon$ 내에 있도록 보장한다.
• 세 단계 분석 프로토콜을 적용한다: (1) 보상을 추정하고, (2) 근사 최적의 반응을 계산하며, (3) 추정된 수반자 반응 하에서 리더의 전략을 최적화한다.

실험 결과

연구 질문

• RQ1 일반합계 게임에서 오직 유한하고 노이즈가 섞인 샘플들로부터 스택엘베르크 균형을 얼마나 정밀하게 근사할 수 있는지에 대한 본질적인 정보이론적 한계는 무엇인가?
• RQ2 이 한계 하에서 근사 최적에 가까운 스택엘베르크 균형을 달성하는 샘플 효율적 알고리즘을 설계할 수 있는가?
• RQ3 밴딧 피드백 설정에서 샘플 복잡도는 행동 공간 크기, 오차 허용 오차, 그리고 내재된 격차에 따라 어떻게 척도가 변하는가?
• RQ4 제안된 접근법은 에피소드 MDP(밴딧-RL)나 고차원 선형 행동 공간(선형 밴딧)과 같은 구조화된 환경으로 확장할 수 있는가?
• RQ5 이러한 설정에서 스택엘베르크 균형을 학습하는 데 있어 샘플 복잡도에 대한 최고의 상한과 하한은 무엇인가?

주요 결과

• 진짜 스택엘베르크 값과 그 유한 샘플 추정치 사이에 알고리즘이 어떤 것이든 상관없이 해소될 수 없는 본질적인 격차 $\mathsf{gap}_\varepsilon$가 존재한다.
• 밴딧 게임에서는 제안된 알고리즘이 $\widetilde{O}(AB/\varepsilon^2)$개의 샘플로 $({\sf gap}_\varepsilon + \varepsilon)$-근사 스택엘베르크 균형을 달성하며, 이는 정보이론적 하한과 일치한다.
• 밴딧-RL 게임에서는 $\widetilde{O}(H^5 S^2 AB / \varepsilon^2)$회의 에피소드가 필요하여 $({\sf gap}_\varepsilon + \varepsilon)$-근사가 달성되며, 여기서 $H$와 $S$는 MDP의 수명 주기와 상태 공간 크기를 나타낸다.
• 선형 밴딧 게임에서는 $\widetilde{O}(d^2 / \varepsilon^2)$개의 샘플로 $({\sf gap}_\varepsilon + \varepsilon)$-근사가 달성되며, 여기서 $d$는 특징 차원이다.
• 샘플 복잡도에 대한 상한과 하한은 $\varepsilon$, $A$, $B$, $H$, $S$, $d$에 대한 의존성에서 일치하며, 로그 인자 외에는 최적임을 입증한다.
• 결과는 스택엘베르크 균형 학습이 나이시 균형 학습과는 다름을 드러내며, 이는 비대칭적인 리더-수반자 구조와 보상 추정의 격차 때문임을 시사한다.