[논문 리뷰] Beyond $\log^2(T)$ Regret for Decentralized Bandits in Matching Markets

Soumya Basu, Karthik Abinav Sankararaman외 1명|ArXiv.org|2021. 03. 12.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 5

한 줄 요약

이 논문은 일방적 피드백을 갖는 이면 매칭 시장에 대해 탈중앙화된 밴딧 알고리즘을 제안하며, 일반 시장에서는 $O(K\log^{1+\varepsilon}(T))$의 손실을, 유일성 일致성 조건 하에서는 $O(NK\log T)$의 손실을 달성한다. 이는 이전의 $O(\log^2 T)$ 및 $O(\exp(N^4)\log^2 T)$의 경계를 향상시킨다. 이 방법은 충돌과 순위 이질성을 해결하기 위해 단계 기반 탐색과 전역 및 국소적 암호 삭제를 사용한다.

ABSTRACT

We design decentralized algorithms for regret minimization in the two-sided matching market with one-sided bandit feedback that significantly improves upon the prior works (Liu et al. 2020a, 2020b, Sankararaman et al. 2020). First, for general markets, for any $\varepsilon > 0$, we design an algorithm that achieves a $O(\log^{1+\varepsilon}(T))$ regret to the agent-optimal stable matching, with unknown time horizon $T$, improving upon the $O(\log^{2}(T))$ regret achieved in (Liu et al. 2020b). Second, we provide the optimal $Θ(\log(T))$ agent-optimal regret for markets satisfying uniqueness consistency -- markets where leaving participants don't alter the original stable matching. Previously, $Θ(\log(T))$ regret was achievable (Sankararaman et al. 2020, Liu et al. 2020b) in the much restricted serial dictatorship setting, when all arms have the same preference over the agents. We propose a phase-based algorithm, wherein each phase, besides deleting the globally communicated dominated arms the agents locally delete arms with which they collide often. This local deletion is pivotal in breaking deadlocks arising from rank heterogeneity of agents across arms. We further demonstrate the superiority of our algorithm over existing works through simulations.

연구 동기 및 목표

• 일방적 밴딧 피드백 하에서 탈중앙화된 알고리즘을 설계하여, 개선된 손실 경계를 갖는 에이전트 최적의 안정된 매칭을 달성하는 것.
• 기존 연구들이 완전히 탈중앙화된 환경에서 뿐만 아니라 에이전트 최악 또는 부분 최적의 손실 경계를 달성하는 데에 한계를 가진 점을 극복하는 것.
• 국소적 암 삭제를 도입하여 탈중앙화된 밴딧 학습에서 순위 이질성과 충돌 정체 문제를 해결하는 것.
• 기존 방법들인 CA-UCB와 UCB-D3에 비해 제안된 알고리즘의 이론적 및 실증적 우수성을 입증하는 것.
• 유일성 일치 조건 하에서 최적의 손실 경계를 확립하여, 제한적인 순차 독재 가정을 초월하는 것.

제안 방법

• 에이전트가 단계에서 암을 탐색하고 추정된 선호도를 사용해 안정된 매칭으로 전환하는 단계 기반 탐색-그 이후 결정 프rotocol(Phased ETC)을 제안한다.
• 국소적 충돌 기반 암 삭제를 도입: 자주 충돌하는 암을 제거함으로써 간섭을 줄이고 순위 이질성으로 인한 정체를 해결한다.
• 전역 통신을 사용해 모든 에이전트에서 열등한 암을 제거함으로써 국소적 삭제를 보완하여 탐색 효율을 향상시킨다.
• 각 단계 동안 탐색과 이용의 균형을 이루기 위해 상한 신뢰도(UCB) 지수를 사용한다.
• UCB-D4는 UCB-D3의 확장으로, 이질적인 암 순위를 처리하고 손실 성능을 향상시키기 위해 국소적 삭제를 통합한다.
• 지수 성장($c_0^{i}$)과 승수를 사용해 단계 길이를 조정함으로써 대규모 사례에서 초기 손실과 수렴 속도 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 탈중앙화된 밴딧 알고리즘이 일방적 피드백이 있는 일반적인 이면 매칭 시장에서 하위-로그²T 손실을 달성할 수 있는가?
• RQ2 순차 독재 가정을 초월한 탈중앙화된 환경에서 최적의 $O(NK\log T)$ 손실을 달성할 수 있는가?
• RQ3 이질적인 에이전트 순위를 가진 시장에서 국소적 충돌 기반 암 삭제는 성능에 어떻게 기여하는가?
• RQ4 유일성 일치 조건이 탈중앙화된 밴딧 매칭에서 손실 경계와 알고리즘 설계에 어떤 영향을 미치는가?
• RQ5 적응형 단계 길이와 국소적 삭제를 갖는 단계 기반 탐색이 CA-UCB 및 UCB-D3와 같은 기존 알고리즘보다 이론적·시뮬레이션적으로 뛰어나게 성능을 높일 수 있는가?

주요 결과

• 제안된 Phased ETC 알고리즘은 일반 시장에서 임의의 $\varepsilon > 0$에 대해 $O(K\log^{1+\varepsilon}(T))$의 손실을 달성하며, CA-UCB의 $O(\exp(N^4)\log^2 T)$ 경계를 향상시킨다.
• 유일성 일치 조건 하에서 UCB-D4는 $O(NK\log T)$의 손실을 달성하며, 이는 이전에 순차 독재 설정에서만 알려진 최적 경계와 일치한다.
• 시뮬레이션 결과 UCB-D4는 유일성 일치 조건이 없더라도 일반 사례에서 하위선형 손실을 달성함을 보여주며, 현재 분석을 초월해 이론적 경계가 존재할 가능성을 시사한다.
• CA-UCB는 추가 피드백이 있음에도 불구하고 높은 충돌 손실을 겪고 있어, 탈중앙화된 환경에서 충돌 해결이 손실의 주요 원인임을 시사한다.
• 지수 성장($c_0 = 1.5$ for Phased ETC, $c_0 = 1.2$ for UCB-D4)을 사용한 조정된 단계 길이는 대규모 사례($N=11$, $K=15$)에서 초기 손실을 크게 줄이고 수렴 속도를 향상시킨다.
• UCB-D4의 통신 손실은 $(K-1+|\mathcal{B}_{jk^*}|)\log_{c_0}(T/c_1)$로 경계가 되며, 이는 국소적 삭제가 통신 오버헤드와 손실을 줄임을 보여준다.