[논문 리뷰] Regret, stability, and fairness in matching markets with bandit learners.

Sarah H. Cen, Devavrat Shah|arXiv (Cornell University)|2021. 02. 11.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 5

한 줄 요약

이 논문은 비선형 학습 기반의 양면 매칭 시장에 대해 비용과 이전을 통합하여 안정성, 낮은 손실(O(log T)), 손실 분포의 공정성, 높은 사회적 복지 달성을 보장하는 새로운 프레임워크를 제안한다. 이는 에이전트가 진정한 선호를 학습하면서도 인centive compatibility를 유지하고 공동으로 손실를 최소화할 수 있음을 증명한다.

ABSTRACT

We consider the two-sided matching market with bandit learners. In the standard matching problem, users and providers are matched to ensure incentive compatibility via the notion of stability. However, contrary to the core assumption of the matching problem, users and providers do not know their true preferences a priori and must learn them. To address this assumption, recent works propose to blend the matching and multi-armed bandit problems. They establish that it is possible to assign matchings that are stable (i.e., incentive-compatible) at every time step while also allowing agents to learn enough so that the system converges to matchings that are stable under the agents' true preferences. However, while some agents may incur low regret under these matchings, others can incur high regret -- specifically, $\Omega(T)$ optimal regret where $T$ is the time horizon. In this work, we incorporate costs and transfers in the two-sided matching market with bandit learners in order to faithfully model competition between agents. We prove that, under our framework, it is possible to simultaneously guarantee four desiderata: (1) incentive compatibility, i.e., stability, (2) low regret, i.e., $O(\log(T))$ optimal regret, (3) fairness in the distribution of regret among agents, and (4) high social welfare.

연구 동기 및 목표

• 기존의 비선형 매칭 프레임워크에서 일부 에이전트가 안정성에도 불구하고 높은 손실(Ω(T))을 겪는 문제를 해결하기 위해.
• 양면 매칭 시장에서 금전적 이전과 비용을 통합하여 에이전트 간의 현실적인 경쟁을 모델링하기 위해.
• 동적 학습 환경에서 안정성, 낮은 손실, 손실 분포의 공정성, 높은 사회적 복지를 동시에 보장하기 위해.
• 부분적인 선호 지식과 불확실성 하에서의 학습을 고려하기 위해 표준 매칭 모델을 확장하기 위해.

제안 방법

• 이전 가능성을 고려한 양면 매칭 시장 모델을 도입하여, 에이전트는 매칭 결과에 따라 비용을 지불하거나 수령한다.
• 에이전트를 비선형 학습자로 모델링하여 시간이 지남에 따라 진정한 선호를 탐색하고 학습한다.
• 이전 조정을 통한 연기된 수락 기법을 적용하여 매 시간 단계에서 안정성을 보장하는 메커니즘을 설계한다.
• 적응적 학습과 이전 메커니즘을 통해 개인 에이전트의 손실를 O(log T)로 제한하는 손실 최소화 기법을 사용한다.
• 이전 기반 보상으로 에이전트 간 손실 분포의 균형을 맞추어 공정성 제약을 통합한다.
• 게임 이론 및 비선형 학습 도구를 사용하여 이론적 보장을 입증하여, 진정한 선호 하에서 안정적 매칭으로의 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 비선형 피드백을 통해 에이전트가 진정한 선호를 학습하는 과정에서도 양면 매칭 시장에서 안정성을 유지할 수 있는가?
• RQ2 비대칭적 학습 역학 조건 하에서도 모든 에이전트가 낮은 손실(O(log T))을 달성할 수 있는가?
• RQ3 이전과 비용은 어떻게 활용되어 손실 분포의 균형을 맞추고 에이전트 간 공정성을 확보할 수 있는가?
• RQ4 동적 매칭 환경에서 인센티브 호환성을 유지하면서도 높은 사회적 복지를 달성할 수 있는 메커니즘은 무엇인가?
• RQ5 단일 메커니즘이 비선형 기반 매칭에서 안정성, 낮은 손실, 공정성, 높은 사회적 복지를 동시에 충족시킬 수 있는가?

주요 결과

• 제안된 메커니즘은 모든 시간 단계에서 안정성을 보장하여 학습 과정 전반에 걸쳐 인센티브 호환성을 유지한다.
• 모든 에이전트가 O(log T) 손실을 달성하여 이전 연구에서 관찰된 Ω(T) 손실보다 크게 향상된다.
• 이전 메커니즘을 통해 손실이 에이전트 간 공정하게 분포되며, 학습 비용의 체계적 불평등을 방지한다.
• 이전 설계를 통해 개인의 인센티브를 집단적 효율성과 일치시켜 시스템은 높은 사회적 복지를 달성한다.
• 이론적 분석을 통해 초기 지식이 불완전하더라도 진정한 선호 하에서 안정적 매칭으로의 수렴이 확인된다.
• 이전의 통합을 통해 안정성, 낮은 손실, 공정성, 높은 사회적 복지라는 네 가지 바람직한 특성을 동시에 충족시킬 수 있다.