[논문 리뷰] Learning Strategies in Decentralized Matching Markets under Uncertain Preferences

Xiaowu Dai, Michael I. Jordan|arXiv (Cornell University)|2020. 10. 29.

Game Theory and Voting Systems참고 문헌 55인용 수 11

한 줄 요약

이 논문은 불확실하고 데이터 기반의 선호도를 가진 이원 매칭 시장에서 탈중앙화된 학습 프레임워크를 제안한다. 커널 방법을 사용해 수용 확률을 추정하고, 용량 제약 조건 하에서 기대 수익을 최적화하는 校정된 의사결정(CDM) 알고리즘을 도입한다. 선호도 추정에 대해 최소최대 최적 수렴성을 확립하고, 결과의 안정성과 공정성을 입증하며, 시뮬레이션을 통해 기준 전략 대비 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of decision-making in the setting of a scarcity of shared resources when the preferences of agents are unknown a priori and must be learned from data. Taking the two-sided matching market as a running example, we focus on the decentralized setting, where agents do not share their learned preferences with a central authority. Our approach is based on the representation of preferences in a reproducing kernel Hilbert space, and a learning algorithm for preferences that accounts for uncertainty due to the competition among the agents in the market. Under regularity conditions, we show that our estimator of preferences converges at a minimax optimal rate. Given this result, we derive optimal strategies that maximize agents' expected payoffs and we calibrate the uncertain state by taking opportunity costs into account. We also derive an incentive-compatibility property and show that the outcome from the learned strategies has a stability property. Finally, we prove a fairness property that asserts that there exists no justified envy according to the learned strategies.

연구 동기 및 목표

• 모르고 변화하는 선호도를 가진 탈중앙화된 매칭 시장에서 통계적 학습과 경제적 의사결정 간 격차를 해소하기 위해.
• 경쟁과 정보 부족으로 인한 불확실성을 고려해 에이전트의 선호도를 재생핵 힐버트 공간(RKHS) 내의 진동하는 함수로 모델링하기 위해.
• 지역 데이터만을 사용하고 기회비용과 용량 제약 조건을 고려하는 탈중앙화된 학습 알고리즘(CDM)을 개발하기 위해.
• 부분 정보 하에서 학습된 전략의 수렴성, 안정성, 공정성에 대한 이론적 보장을 확립하기 위해.
• 계층적 기관과 확률적 학생 선호도를 가진 대학 입학 시나리오의 시뮬레이션을 통해 프레임워크를 실증적으로 검증하기 위해.

제안 방법

• 에이전트의 선호도를 재생핵 힐버트 공간(RKHS) 내의 함수로 표현하여, 이력 데이터로부터 비모수적 수용 확률 추정을 가능하게 한다.
• 불확실성 하에서 수용 확률을 추정하기 위해 정규화된 로그우도 추정기를 사용하며, 안정성 확보와 과적합 방지를 위해 정규화를 적용한다.
• 모르는 상태를 편향시켜 용량 초과의 마진 효용과 보상 간 균형을 맞추는 CDM(Calibrated Decision-Making) 알고리즘을 도입한다.
• 기회비용 고려를 통해 의사결정 임계값을 校정하여, 낮은 수익을 얻는 매칭에 대한 과도한 투자를 방지한다.
• 믿음 기반 개인 합리성 조건을 통합하여, 학습된 선호도 모델 하에서 기대 수익을 최대화하는 최적 전략을 유도한다.
• 10개의 서로 다른 학생 선호도 상태와 500회의 테스트 반복을 포함하는 시뮬레이션 기반 평가 프레임워크를 활용해 CDM을 절단점 전략 및 탐욕 전략과 비교한다.

실험 결과

연구 질문

• RQ1 경쟁적 상황에서 선호도가 모르고 변화하는 탈중앙화된 매칭 시장의 에이전트는 어떻게 최적 전략을 학습할 수 있는가?
• RQ2 불확실성과 자원 부족이 존재하는 상황에서, 수용 확률 추정에 대해 최소최대 최적 수렴을 보장하는 학습 방법은 무엇인가?
• RQ3 탈중앙화된 알고리즘이 기대 수익을 극대화하면서도 기회비용과 용량 제약 조건을 어떻게 고려할 수 있는가?
• RQ4 부분 정보 하에서도 학습된 전략이 안정성과 공정성(즉, 정당한 시기적 불만 없음)을 보장하는가?
• RQ5 CDM 알고리즘이 기준 전략(예: 단순 절단점, 탐욕적 행동)에 비해 기관의 계층별로 수익성과 강건성 측면에서 어떻게 성과를 내는가?

주요 결과

• 정규성 조건 하에서 제안된 수용 확률 추정기는 최소최대 최적 수렴 속도를 달성하여 제한된 데이터로부터 효율적인 학습을 보장한다.
• CDM 알고리즘은 기대 수익 측면에서 단순 절단점 전략 및 탐욕적 행동 전략보다 뚜렷이 뛰어나며, 특히 2등급 및 3등급 대학에서 두드러진 성과를 보인다.
• 시뮬레이션 결과, CDM는 모든 세 기관 계층(P1, P6, P16)에서 평균 수익이 가장 높았으며, 중간 등급 기관에서 가장 큰 성과 향상을 보였다.
• 상태 편향과 기회비용을 활용한 의사결정 임계값 校정을 통해 CDM 전략은 과잉 등록을 방지하여 용량 위반 위험을 감소시켰다.
• 프레임워크는 공정성 성질을 보장한다: 부분 정보 하에서도 학습된 전략에 따라 정당한 시기적 불만이 존재하지 않는다.
• CDM 전략의 결과는 부분 정보 하에서도 안정적이며, 에이전트의 모르는 상태에 대한 믿음에 기반한 개인 합리성 조건을 충족한다.