[논문 리뷰] Competing Bandits in Matching Markets

Lydia T. Liu, Horia Mania외 1명|arXiv (Cornell University)|2019. 06. 12.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 8

한 줄 요약

이 논문은 한쪽 측면이 확률적 보상으로서 선호도를 학습하는 이면 매칭 시장에서의 경쟁적 밴디트 모델을 제안한다. 다중 암드 밴디트를 확장하여 암프 선호도와 경쟁을 포함한다. 중심화된 및 분산형 ETC 및 UCB 알고리즘을 제안하며, 문제 의존적 리그레트 한계 O(log n)을 증명하고, 중심화된 UCB가 인센티브 호환성을 가지며 불확실성 하에서 안정적이고 효율적인 시장 결과를 보장함을 보여준다.

ABSTRACT

Stable matching, a classical model for two-sided markets, has long been studied with little consideration for how each side's preferences are learned. With the advent of massive online markets powered by data-driven matching platforms, it has become necessary to better understand the interplay between learning and market objectives. We propose a statistical learning model in which one side of the market does not have a priori knowledge about its preferences for the other side and is required to learn these from stochastic rewards. Our model extends the standard multi-armed bandits framework to multiple players, with the added feature that arms have preferences over players. We study both centralized and decentralized approaches to this problem and show surprising exploration-exploitation trade-offs compared to the single player multi-armed bandits setting.

연구 동기 및 목표

• 반복적인 확률적 상호작용을 통해 한 측면이 선호도를 학습하는 이면 시장 모델링, 실세계 온라인 노동 및 서비스 플랫폼 반영.
• 학습(밴디트)과 시장 안정성(매칭) 간의 상호작용을 공식화하며, 특히 경쟁과 불확실성 하에서의 상호작용을 다룸.
• 탐색-이용 균형의 탐색 리그레트를 최소화하면서 안정된 매칭 결과를 달성하는 알고리즘 개발.
• 암프가 선호도를 갖고 있으며, 가장 선호하는 참가자만 보상을 받는 다에이전트 환경에서의 리그레트 분석.
• 중앙집중형 및 분산형 학습 프rotocol에 대해 리그레트와 안정성에 대한 이론적 보장을 수립.

제안 방법

• 암프 선호도를 고려한 다에이전트 밴디트에 대해 Explore-then-Commit (ETC) 알고리즘을 확장하며, 탐색 단계와 이용 단계로 구성된 이중 단계 프로세스를 사용.
• 암프 선호도를 통합하고 안정성을 유지하는 중심화된 UCB 변형을 도입하며, 경쟁적 환경에 맞게 신뢰 구간을 조정.
• 안정된 매칭 기반으로 에이전트 최적 및 시장 최적의 두 가지 리그레트 개념 정의하여 학습 비효율성 측정.
• 충돌 및 보상 추정 오차를 제한하기 위해 확률적 농도 부등식을 사용하며, 특히 희귀 암프에 대해 강력하게 적용.
• 불확실성 하에서 안정된 매칭 결과를 모델링하기 위해 Gumbel-Max 표현을 적용하며, 밴디트 리그레트와 매칭 안정성 간의 연결 고리 설정.
• 중앙집중형 UCB가 인센티브 호환성임을 증명하며, 참가자가 알고리즘 하에서 진실로 선호도를 보고하도록 유도됨.

실험 결과

연구 질문

• RQ1 암프(예: 자원 또는 고용주)가 참가자들에 대해 선호도를 갖는 이면 시장에서 다중 암드 밴디트 학습을 어떻게 적응시킬 수 있는가?
• RQ2 암프 선호도와 충돌 제약 조건이 있는 경쟁적 다에이전트 밴디트 환경에서 어떤 리그레트 한계를 달성할 수 있는가?
• RQ3 중앙집중형 및 분산형 알고리즘이 탐색 리그레트를 최소화하면서 안정된 시장 결과를 달성할 수 있는가?
• RQ4 한 측면의 선호도에 대한 불확실성이 전체 시장의 장기적 유틸리티와 안정성에 어떤 영향을 미치는가?
• RQ5 불확실성 하에서 안정된 매칭으로 수렴하는 인센티브 호환성 학습 알고리즘을 설계할 수 있는가?

주요 결과

• 분산형 ETC 알고리즘은 각 에이전트에 대해 O(log n) 문제 의존적 리그레트를 달성하며, 유저 수, 암프 수, 선호도 겹침 정도에 따라 영향을 받는다.
• 중앙집중형 UCB는 O(log n) 문제 의존적 리그레트를 달성하며, 인센티브 호환성임이 증명되어 안정된 매칭에서 진실된 보고 보장.
• 분산형 ETC의 리그레트 한계에는 탐색 시간 H에 따라 감소하는 지수항이 포함되어 있으며, 암프 선택 성공 확률 반영.
• 모델은 한 측면의 불확실성이 다른 에이전트의 장기적 유틸리티를 저하시킬 수 있음을 보여주며, 학습 과정에서의 전략적 외부성 강조.
• 중앙집중형 UCB 알고리즘은 안정된 매칭 구성으로 신속히 수렴하며, 리그레트와 안정성 보장 측면에서 ETC를 능가.
• 결과는 암프 선호도가 불확실한 설정으로도 확장 가능하나, 논문은 단순성을 위해 알려진 암프 선호도에 집중.