[논문 리뷰] My Fair Bandit: Distributed Learning of Max-Min Fairness with Multi-player Bandits

Ilai Bistritz, Tavor Z. Baharav외 2명|arXiv (Cornell University)|2020. 02. 22.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 통신 없이 자원 할당에서 최소-최대 공정성(max-min fairness)을 달성하는 완전히 분산된 다중 플레이어 밴딧 알고리즘인 My Fair Bandit을 제안한다. 적응적 에포크 기반 탐색과 신뢰구간을 사용하여 최적의 플레이어-암 매칭을 학습하며, $ O(\log T \log\log T) $의 리그레트를 달성한다. 이는 협력 없이도 이러한 공정성 목표에 대해 거의 최적의 성능이다.

ABSTRACT

Consider N cooperative but non-communicating players where each plays one out of M arms for T turns. Players have different utilities for each arm, representable as an NxM matrix. These utilities are unknown to the players. In each turn players select an arm and receive a noisy observation of their utility for it. However, if any other players selected the same arm that turn, all colliding players will all receive zero utility due to the conflict. No other communication or coordination between the players is possible. Our goal is to design a distributed algorithm that learns the matching between players and arms that achieves max-min fairness while minimizing the regret. We present an algorithm and prove that it is regret optimal up to a $\\log\\log T$ factor. This is the first max-min fairness multi-player bandit algorithm with (near) order optimal regret.

연구 동기 및 목표

• 플레이어 간 통신 없이 다중 플레이어 밴딧에서 최소-최대 공정성을 달성하는 분산 알고리즘을 설계하는 것.
• 이용가치가 이질적이고 알려지지 않은 상황에서 최적의 플레이어-암 매칭을 학습할 때 리그레트를 최소화하는 것.
• 충돌이 존재하고 협력 없이도 공정한 할당으로 수렴하는 문제를 다루는 것.
• 밴딧 환경에서 최소-최대 공정성에 대해 거의 최적인 리그레트 한계를 설정하는 것.

제안 방법

• 알고리즘은 탐색과 이용 단계를 번갈아 가며 운영되는 에포크 단위로 작동하며, 탐색과 수렴의 균형을 맞추기 위해 적응적 길이 연장 기법을 사용한다.
• 플레이어별 암 이용가치를 추정하고 근사 최적 매칭을 탐지하기 위해 허프딩 부등식 기반의 신뢰구간을 활용한다.
• 매칭 단계에서는 모든 플레이어가 최소 $\gamma^*$의 이용가치를 확보하는 $\gamma^*$-매칭—즉, 플레이어-암 할당—을 분산 학습 과정을 통해 식별한다.
• 에포크가 진행됨에 따라 스텝 크기 $\varepsilon_k$가 감소하여 후반 단계에서 탐색을 정교화하고 리그레트를 감소시킨다.
• 흡수성 마코프 체인 구조를 통해 $\gamma^*$-매칭이 발견된 후 플레이어가 이 상태에 고정될 확률이 높아지도록 보장한다.
• 충돌을 방지하고 최소 플레이어 수익을 우선시함으로써 공정성을 확보하기 위해 임계값 기반 선택 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 완전히 분산된 다중 플레이어 밴딧 알고리즘이 통신 없이도 최소-최대 공정성을 달성할 수 있는가?
• RQ2 스토케스틱이고 충돌 기반의 밴딧 환경에서 최소-최대 공정 할당을 학습할 때 달성 가능한 최적의 리그레트는 무엇인가?
• RQ3 이용가치가 이질적이고 알려지지 않은 상황에서 플레이어가 공정한 매칭으로 수렴할 수 있는 방법은 무엇인가?
• RQ4 합의 없이도 통신이 없음에도 불구하고 리그레트를 거의 최적으로 제한할 수 있는가?

주요 결과

• 제안된 알고리즘은 총 기대 리그레트가 $ O(\log T \log\log T) $에 도달하며, 이는 통신 없이도 최소-최대 공정성 목표에 대해 거의 최적의 성능이다.
• 리그레트 한계는 $ \log\log T $ 요소를 제외하고는 날카롭게 조밀하며, 이는 최초로 다중 플레이어 밴딧에서 최소-최대 공정성에 대해 이 정도 성능을 달성한 알고리즘이다.
• 알고리즘은 $\gamma^*$-매칭으로 플레이어가 고정될 확률이 높게 수렴함을 보장한다. 여기서 $\gamma^*$는 달성 가능한 최대의 최소 이용가치이다.
• 수렴 시간은 $ O(\log T) $ 이내로 제한되며, 합의 기반 접근법에서 나타나는 $ M $-요소의 패널티를 피한다.
• 분석 결과, $ \log T $ 항의 곱계수를 제어할 수 있다면 리그레트를 $ O(\log T) $로 향상시킬 수 있으나, 이는 아직 열린 문제이다.