[논문 리뷰] Bandit Learning in Decentralized Matching Markets

Lydia T. Liu, Feng Ruan외 2명|arXiv (Cornell University)|2021. 01. 01.

Auction Theory and Applications인용 수 1

한 줄 요약

이 논문은 플레이어들이 사전 지식이나 직접적 소통 없이 암수를 선호하는 것을 학습할 수 있는 분산형 다중 플레이어 밴딧 알고리즘을 제안한다. 암수의 선호도가 공유될 경우 $Ø(\log T)$의 리그레트를 달성하고 일반 설정에서는 $Ø(\log^2 T)$의 리그레트를 기록하며, 공유된 선호도 하에서 인cent리브 호환성이 확보된다.

ABSTRACT

We study two-sided matching markets in which one side of the market (the players) does not have a priori knowledge about its preferences for the other side (the arms) and is required to learn its preferences from experience. Also, we assume the players have no direct means of communication. This model extends the standard stochastic multi-armed bandit framework to a decentralized multiple player setting with competition. We introduce a new algorithm for this setting that, over a time horizon $T$, attains $\mathcal{O}(\log(T))$ stable regret when preferences of the arms over players are shared, and $\mathcal{O}(\log(T)^2)$ regret when there are no assumptions on the preferences on either side. Moreover, in the setting where a single player may deviate, we show that the algorithm is incentive compatible whenever the arms' preferences are shared, but not necessarily so when preferences are fully general.

연구 동기 및 목표

• 상대편에 대한 선호도에 대한 사전 지식이 없는 분산형 학습을 두루마리 매칭 시장에서 해결하고자 한다.
• 직접 소통 없이 반복적 상호작용을 통해 학습하는 경쟁 환경을 모델링하고자 한다.
• 안정성과 인센티브 호환성을 보장하면서 리그레트를 최소화하는 알고리즘을 설계하고자 한다.
• 선호도 대칭성(공유된 선호도 대비 일반적인 선호도)이 학습 성능와 전략적 행동에 미치는 영향을 분석하고자 한다.

제안 방법

• 경쟁적인 환경을 고려한 분산형 다중 플레이어 설정으로 확장된 확률적 다항 밴딧 프레임워크를 적용한다.
• 소통이 없는 환경에서 탐색과 이용의 균형을 이루는 새로운 학습 알고리즘을 도입한다.
• 장기적인 일관성을 확보하기 위해 안정적 매칭 메커니즘을 활용한다.
• 리그레트의 상한을 측정하기 위해 로그 리그레트 상한을 사용하며, 공유된 선호도와 일반 선호도의 경우에 대해 별도로 분석한다.
• 플레이어가 알고리즘에서 이탈하는 것에 유리한지 평가하기 위해 인센티브 호환성 분석을 적용한다.
• 농도 불확실성 부등식과 매칭 맥락에서의 안정성 논증을 사용하여 이론적 리그레트 상한을 유도한다.

실험 결과

연구 질문

• RQ1 소통이 없는 분산 시장에서 플레이어는 어떻게 암수에 대한 선호도를 학습할 수 있는가?
• RQ2 공유된 선호도와 완전히 일반적인 선호도 하에서 달성 가능한 리그레트 상한은 무엇인가?
• RQ3 암수의 선호도가 공유될 경우 제안된 알고리즘이 인센티브 호환성인가?
• RQ4 단 한 명의 이탈 플레이어가 존재할 경우 매칭 결과의 안정성과 공정성에 어떤 영향을 미치는가?
• RQ5 낮은 리그레트와 전략적 강건성을 확보하기 위해 필요한 선호도에 대한 구조적 가정은 무엇인가?

주요 결과

• 암수의 선호도가 플레이어 간에 공유될 경우 알고리즘이 $Ø(\log T)$ 리그레트를 달성하여 대칭적인 선호도 정보 하에서 효율적인 학습이 가능함을 시사한다.
• 공유된 선호도가 없는 경우 리그레트는 $Ø(\log^2 T)$로 증가하여 구조적 가정이 없는 경우 학습의 복잡도가 더 높음을 반영한다.
• 암수의 선호도가 공유될 경우 알고리즘이 인센티브 호환성임을 입증하여 플레이어가 알고리즘에서 이탈할 전략적 이유가 없음을 보여준다.
• 일반적인 설정에서 완전히 임의의 선호도가 존재할 경우 인센티브 호환성이 성립하지 않으며, 일반성과 전략적 강건성 사이의 상충 관계를 시사한다.
• 이론적 분석을 통해 분산형 경쟁 환경에서도 안정적 매칭 결과가 달성 가능하다는 점을 확인한다.
• 결과적으로 선호도 대칭성이 분산형 밴딧 매칭에서 학습 효율성과 전략적 안정성 향상에 크게 기여함을 보여준다.