[논문 리뷰] Bayesian Exploration: Incentivizing Exploration in Bayesian Games

Yishay Mansour, Aleksandrs Slivkins외 2명|arXiv (Cornell University)|2016. 02. 24.

Game Theory and Applications인용 수 8

한 줄 요약

이 논문은 주로 돈 전달 없이 베이지안 게임에서 에이전트가 불확실한 행동을 탐색하도록 유인하기 위한 프레임워크인 베이지안 탐색(Bayesian Exploration)을 소개한다. '탐색 가능한 행동들'을 식별하고 인센티브 호환성 있는 추천 정책을 사용함으로써, 결정론적 환경에서는 일정한 최소 손실(regret)을 달성하고, 확률론적 환경에서는 로그 수준의 최소 손실을 달성한다. 이는 단일 에이전트 탐색에 관한 이전 연구에 비해 크게 향상된 결과이다.

ABSTRACT

We consider a ubiquitous scenario in the Internet economy when individual decision-makers (henceforth, agents) both produce and consume information as they make strategic choices in an uncertain environment. This creates a three-way tradeoff between exploration (trying out insufficiently explored alternatives to help others in the future), exploitation (making optimal decisions given the information discovered by other agents), and incentives of the agents (who are myopically interested in exploitation, while preferring the others to explore). We posit a principal who controls the flow of information from agents that came before, and strives to coordinate the agents towards a socially optimal balance between exploration and exploitation, not using any monetary transfers. The goal is to design a recommendation policy for the principal which respects agents' incentives and minimizes a suitable notion of regret. We extend prior work in this direction to allow the agents to interact with one another in a shared environment: at each time step, multiple agents arrive to play a Bayesian game, receive recommendations, choose their actions, receive their payoffs, and then leave the game forever. The agents now face two sources of uncertainty: the actions of the other agents and the parameters of the uncertain game environment. Our main contribution is to show that the principal can achieve constant regret when the utilities are deterministic (where the constant depends on the prior distribution, but not on the time horizon), and logarithmic regret when the utilities are stochastic. As a key technical tool, we introduce the concept of explorable actions, the actions which some incentive-compatible policy can recommend with non-zero probability. We show how the principal can identify (and explore) all explorable actions, and use the revealed information to perform optimally.

연구 동기 및 목표

• 에이전트가 시기적이고 자기 중심적이지만 집단적 탐색이 사회에 유익한 베이지안 게임 환경에서 탐색을 유도하는 문제를 해결하기 위해.
• 금전적 전달 없이도 에이전트의 인센티브를 존중하는(베이지안 인센티브 호환성(Bayesian Incentive Compatibility)을 통한) 추천 정책을 설계하고, 최소 손실을 최소화하기 위해.
• 기존 단일 에이전트 탐색 모델을 에이전트들이 공유 불확실한 환경에서 상호작용하는 다중 에이전트 환경으로 확장하기 위해.
• 행동들이 언제 탐색 가능한지 규명하고, 인센티브 제약 조건 하에서 효율적으로 식별하고 탐색하는 방법을 제시하기 위해.
• 임의의 주체의 목적 함수를 고려할 때, 결정론적 환경에서는 일정한 최소 손실, 확률론적 환경에서는 로그 수준의 최소 손실을 달성하는 최적의 최소 손실 한계를 확보하기 위해.

제안 방법

• 주어진 인센티브 호환 정책 하에서 비영일 확률로 추천될 수 있는 행동들인 '탐색 가능한 행동들'의 개념을 도입한다.
• 모든 탐색 가능한 행동들을 탐색할 수 있도록 최대한 탐색을 유도하는 서브루틴을 개발하며, 이는 BIC 준수 추천 메커니즘을 사용한다.
• 매 라운드에 다수의 에이전트가 도착하여 베이지안 게임을 플레이하고, 추천을 받고 행동을 취한 후 퇴장하는 반복 게임 프레임워크를 사용한다.
• 전체 정책이 베이지안 인센티브 호환성을 유지하면서도 모든 탐색 가능한 행동들을 탐색하도록, BIC 서브루틴의 조합을 활용한다.
• 확률론적 유틸리티 환경을 다루기 위해 기대 유틸리티와 신호 설계에 대한 근사 기법을 적용한다.
• 탐색과 이용을 분리하면서도 각 라운드 간의 인센티브 호환성을 유지하는 데 기반한 새로운 분석 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 주체는 금전적 전달 없이도 다중 에이전트 베이지안 게임 환경에서 추천 정책을 설계하여 에이전트가 탐색하도록 유도할 수 있는가?
• RQ2 자기 중심적인 에이전트와 정보가 불완전한 게임 이론적 환경에서 행동이 '탐색 가능한' 것으로 정의되는 기준은 무엇인가?
• RQ3 주체가 베이지안 인센티브 호환성을 보장하면서도 결정론적 유틸리티 환경에서 일정한 최소 손실을 달성할 수 있는가?
• RQ4 주체가 완전한 BIC 정책이 아닌 δ-BIC 정책과 경쟁할 때, 확률론적 유틸리티 환경에서 최소 손실의 본질적 한계는 무엇인가?
• RQ5 이 프레임워크는 시간에 따라 변하는 맥락이나 간결한 게임 표현 형식을 가진 환경으로 확장될 수 있는가?

주요 결과

• 결정론적 유틸리티 환경에서는 주체가 일정한 최소 손실을 달성할 수 있으며, 이 일정한 값은 시간의 길이에 영향을 받지 않고 사전 분포에만 의존한다.
• 확률론적 유틸리티 환경에서는 주체가 임의의 δ > 0에 대해 δ-BIC 정책과 경쟁할 때 로그 수준의 최소 손실을 달성한다.
• 모든 탐색 가능한 행동들—즉, BIC 정책 하에서 양의 확률로 추천될 수 있는 행동들—은 계산적으로 효율적인 서브루틴을 통해 식별되고 탐색될 수 있다.
• 이 프레임워크는 주체의 유틸리티가 에이전트의 누적 유틸리티와 일치할 필요가 없기 때문에 목표 설계의 유연성을 제공한다.
• 이전 연구에서 모든 행동이 탐색 가능하다는 가정을 필요로 했던 단일 에이전트 설정과는 달리, 본 연구는 이러한 제약 조건을 제거함으로써 기존 연구에 비해 크게 향상되었다.
• 분석 결과, 엄밀한 BIC 정책(δ = 0)과 경쟁할 경우 데이터에 의존하는 샘플링 요구 조건이 BIC 조합을 깨뜨리므로, 이 경우는 여전히 열려 있는 도전 과제로 남아 있다.