[논문 리뷰] Mechanism Design with Bandit Feedback.

Kirthevasan Kandasamy, Joseph E. Gonzalez외 2명|arXiv (Cornell University)|2020. 04. 19.

Auction Theory and Applications참고 문헌 44인용 수 6

한 줄 요약

이 논문은 할당을 경험한 후에만 자신의 가치를 알게 되는 환경에서 다회차 복지 극대화를 위한 진실성 있고 개인적으로 합리적인 메커니즘을 제안한다. 세 가지 상호의존적인 손실 측정치를 가진 밴딧 피드백 모델을 도입하고, 이에 대해 Ω(T^{2/3})의 하한을 확립하며, 진실성과 개인적 합리성을 유지하면서도 에이전트와 판매자 손실 간의 트레이드오프를 허용하는 언제라도 적용 가능한 알고리즘을 통해 이 손실률을 달성한다.

ABSTRACT

We study a multi-round welfare-maximising mechanism design problem in instances where agents do not know their values. On each round, a mechanism assigns an allocation each to a set of agents and charges them a price; then the agents provide (stochastic) feedback to the mechanism for the allocation they received. This is motivated by applications in cloud markets and online advertising where an agent may know her value for an allocation only after experiencing it. Therefore, the mechanism needs to explore different allocations for each agent, while simultaneously attempting to find the socially optimal set of allocations. Our focus is on truthful and individually rational mechanisms which imitate the classical VCG mechanism in the long run. To that end, we define three notions of regret for the welfare, the individual utilities of each agent and that of the mechanism. We show that these three terms are interdependent via an $\Omega(T^{\frac{2}{3}})$ lower bound for the maximum of these three terms after $T$ rounds of allocations, and describe a family of anytime algorithms which achieve this rate. Our framework provides flexibility to control the pricing scheme so as to trade-off between the agent and seller regrets, and additionally to control the degree of truthfulness and individual rationality.

연구 동기 및 목표

• 에이전트가 할당을 경험한 후에야 자신의 가치를 알게 되는 상황에서 다회차 복지 극대화를 위한 진실성 있고 개인적으로 합리적인 메커니즘을 설계하는 것.
• 에이전트가 할당 후 피드백을 제공하는 방식으로 피드백 과정을 확률적 밴딧 피드백으로 모델링하는 것.
• 사회적 복지, 개별 에이전트의 유용성, 메커니즘 수익이라는 세 가지 상호의존적인 손실 항목을 정의하고 분석하는 것.
• 이 세 손실 항목의 최대값에 대한 하한을 통해 이러한 메커니즘의 성능에 대한 근본적 한계를 규명하는 것.
• 가격 설정, 진실성, 개인적 합리성 간의 트레이드오프를 허용하면서도 최적의 Ω(T^{2/3}) 손실률을 달성하는 언제라도 적용 가능한 알고리즘의 가족을 개발하는 것.

제안 방법

• 메커니즘은 라운드 단위로 작동하며, 할당을 배정하고 가격을 청구한 후, 에이전트가 받은 할당의 질에 대해 확률적 피드백을 수신한다.
• 세 가지 손실 측정치를 정의한다: 복지 손실(최적 사회적 복지에서의 이탈), 에이전트 유용성 손실(최적 개인 유용성에서의 이탈), 메커니즘 수익 손실(최적 메커니즘 수익에서의 이탈).
• 에이전트의 가치가 할당 이후에야 드러나므로, 선호도를 학습하기 위해 탐색이 필요하다는 점을 고려한 밴딧 피드백 모델을 사용한다.
• T라운드 이후 세 손실 항목의 최대값에 대해 Ω(T^{2/3})의 근본적 하한을 확립하여 내재된 트레이드오프를 보여준다.
• 제안된 언제라도 적용 가능한 알고리즘은 탐색과 이용을 균형 있게 조절하면서도 진실성과 개인적 합리성을 유지함으로써 이 최적의 손실률을 달성한다.
• 가격 설정 방식은 탄력적이며, 에이전트 손실과 메커니즘 손실 간의 트레이드오프를 허용하고, 진실성과 개인적 합리성 수준을 조정할 수 있다.

실험 결과

연구 질문

• RQ1 밴딧 피드백가 있는 다회차 메커니즘에서 복지, 에이전트 유용성, 메커니즘 수익 손실 간의 근본적 트레이드오프는 무엇인가?
• RQ2 진실성 있고 개인적으로 합리적인 메커니즘이 이러한 환경에서 비선형 손실을 달성할 수 있는가? 만약 가능하다면 최적의 손실률은 무엇인가?
• RQ3 세 가지 손실 항목—복지, 에이전트 유용성, 메커니즘 수익—은 어떻게 상호작용하고 상호 제약을 가하는가?
• RQ4 T라운드 동안 이 세 손실 항목의 최대값에 대한 가장 날카로운 하한은 무엇인가?
• RQ5 진실성과 개인적 합리성에 대한 제어를 가능하게 하면서도 최적의 손실률을 달성할 수 있는 언제라도 적용 가능한 알고리즘을 설계할 수 있는가?

주요 결과

• 논문은 T라운드 이후 세 손실 항목—복지, 에이전트 유용성, 메커니즘 수익—의 최대값에 대해 Ω(T^{2/3})의 근본적 하한을 확립한다.
• 이 하한은 어떤 메커니즘도 이 손실률 이하로 세 손실 항목을 동시에 최소화할 수 없음을 보여주며, 내재된 트레이드오프를 강조한다.
• 저자는 최적의 Ω(T^{2/3}) 손실률을 달성하는 언제라도 적용 가능한 알고리즘의 가족을 제시한다. 이는 하한과 정확히 일치한다.
• 프레임워크는 가격 설정 방식을 탄력적으로 제어하여 에이전트 손실과 메커니즘 손실 간의 트레이드오프를 허용한다.
• 알고리즘은 최적의 손실률을 달성하면서도 진실성과 개인적 합리성을 유지한다.
• 결과는 세 손실 항목 간의 상호의존성이 피할 수 없으며, 제안된 알고리즘이 이론적 한계 내에서 효과적으로 이를 균형 잡는 데 성공했음을 보여준다.