[논문 리뷰] Dominate or Delete: Decentralized Competing Bandits with Uniform Valuation.

Abishek Sankararaman, Soumya Basu외 1명|arXiv (Cornell University)|2020. 06. 26.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 7

한 줄 요약

이 논문은 보상이 알려져 있지 않은 무기들을 두고 경쟁하는 에이전트들이 균일한 평가 기준 하에서 작동하는 탈중앙화된 알고리즘인 ame를 제안한다. 이 알고리즘은 단계적 탐색, 비지배적인 무기들에 대한 동적 UCB, 그리고 조율을 위한 순수한 이용 전략을 사용하여 보상 갭이나 시간 범위에 대한 사전 지식이 없이도 $O(\log T / \Delta^2)$의 손실을 달성하며, 매칭 밴딧 분야의 일부 열린 문제를 해결한다.

ABSTRACT

We study regret minimization problems in a two-sided matching market where uniformly valued demand side agents (a.k.a. agents) continuously compete for getting matched with supply side agents (a.k.a. arms) with unknown and heterogeneous valuations. Such markets abstract online matching platforms (for e.g. UpWork, TaskRabbit) and falls within the purview of matching bandit models introduced in Liu et al. \cite{matching_bandits}. The uniform valuation in the demand side admits a unique stable matching equilibrium in the system. We design the first decentralized algorithm - \fullname\; ( ame), for matching bandits under uniform valuation that does not require any knowledge of reward gaps or time horizon, and thus partially resolves an open question in \cite{matching_bandits}. ame\; works in phases of exponentially increasing length. In each phase $i$, an agent first deletes dominated arms -- the arms preferred by agents ranked higher than itself. Deletion follows dynamic explore-exploit using UCB algorithm on the remaining arms for $2^i$ rounds. {Finally, the preferred arm is broadcast in a decentralized fashion to other agents through {\em pure exploitation} in $(N-1)K$ rounds with $N$ agents and $K$ arms.} Comparing the obtained reward with respect to the unique stable matching, we show that ame\; achieves $O(\log(T)/\Delta^2)$ regret in $T$ rounds, where $\Delta$ is the minimum gap across all agents and arms. We provide a (orderwise) matching regret lower-bound.

연구 동기 및 목표

• 알려지지 않은 무기 평가 기준 하에서 탈중앙화된 이면 매칭 시장에서 손실 최소화 문제를 해결하기 위해.
• 보상 갭이나 시간 범위에 대한 사전 지식이 없는 알고리즘을 설계하여 Liu 등(2023)에서 제기한 열린 문제를 해결하기 위해.
• 손실 최소화를 동시에 탈중앙화된 방식으로 에이전트 간의 효율적 조율을 달성하기 위해.
• 기존 알려진 하한값과 순서가 일치하는 이론적 손실 한계를 확립하기 위해.

제안 방법

• 알고리즘은 길이가 지수적으로 증가하는 단계로 구성되어 있어 적응적 탐색과 이용을 가능하게 한다.
• 각 단계에서 에이전트들은 상위 순위의 에이전트에 의해 지배되는 무기를 삭제하여 실질적인 행동 공간을 줄인다.
• 남은 비지배적인 무기들에 대해 $2^i$라운드 동안 UCB 알고리즘을 적용하여 탐색과 이용의 균형을 이룬다.
• 탐색 이후, 에이전트들은 $(N-1)K$라운드 동안 순수한 이용 전략을 통해 선호하는 무기를 브로드캐스트하여 탈중앙화된 조율을 보장한다.
• 균일한 평가 기준의 특성을 활용하여 알고리즘이 유일한 안정적 매칭으로 수렴하도록 보장한다.
• 중앙 집중식 조율를 피하고 지역적 결정과 브로드캐스트 메커니즘에만 의존한다.

실험 결과

연구 질문

• RQ1 균일한 평가 기준 하에서 보상 갭이나 시간 범위에 대한 사전 지식이 없이도 탈중앙화된 알고리즘이 매칭 밴딧에서 비선형 손실을 달성할 수 있는가?
• RQ2 균일한 평가 기준 하에서 탈중앙화된 매칭 밴딧의 손실의 근본적 한계는 무엇인가?
• RQ3 중앙 제어나 공유 난수 없이도 에이전트들이 선호하는 무기로 효율적으로 조율할 수 있는가?
• RQ4 단계적 탐색을 통한 동적 탐색-이용 전략이 최적의 손실 스케일링을 달성할 수 있는가?
• RQ5 제안된 알고리즘이 이론적 하한값과 순서가 일치하는 손실 한계를 달성하는가?

주요 결과

• ame 알고리즘은 $T$라운드 동안 $O(\log T / \Delta^2)$의 손실을 달성한다. 여기서 $\Delta$는 에이전트와 무기 간의 최소 보상 갭이다.
• 손실 한계는 순서적으로 최적이며, 유도된 매칭 하한값과 일치한다.
• 알고리즘은 시간 범위나 보상 갭 파rameter에 대한 사전 지식이 필요하지 않다.
• 지수적 길이를 가진 단계적 탐색의 사용은 모든 에이전트에서 효율적인 학습을 보장한다.
• 각 단계에서 지배되는 무기들을 제거함으로써 실질적인 행동 공간이 감소하고 학습 효율성이 향상된다.
• $(N-1)K$라운드 동안 순수한 이용 전략을 통한 탈중앙화된 조율는 중앙 집중식 조율 없이도 안정적 매칭 수렴을 가능하게 한다.