[논문 리뷰] Towards Optimal Algorithms for Multi-Player Bandits without Collision Sensing Information

Wei Huang, Richard Combes외 1명|arXiv (Cornell University)|2021. 03. 24.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 5

한 줄 요약

이 논문은 충돌 감지 기능이 없는 다중 플레이어 다항 보상 밴딧에 대한 새로운 분산 알고리즘을 제안하며, 최소 보상에 대한 사전 지식에 의존하지 않고, 그에 반비례하는 성능 저하를 피한다. 이 알고리즘은 최악의 보상에 대한 의존도가 없는 성능 저하 경계를 확보하여 이론적·실험적으로 최신 기술보다 뛰어나며, 특히 고차원 또는 낮은 신호 강도 환경에서 두각을 나타낸다.

ABSTRACT

We propose a novel algorithm for multi-player multi-armed bandits without collision sensing information. Our algorithm circumvents two problems shared by all state-of-the-art algorithms: it does not need as an input a lower bound on the minimal expected reward of an arm, and its performance does not scale inversely proportionally to the minimal expected reward. We prove a theoretical regret upper bound to justify these claims. We complement our theoretical results with numerical experiments, showing that the proposed algorithm outperforms state-of-the-art in practice as well.

연구 동기 및 목표

• 기존 다중 플레이어 밴딧 알고리즘이 보상의 하한을 요구하는 실용적 제약를 해결한다.
• 실제 환경(예: 인지 라디오 네트워크)에서 최악의 보상이 매우 작을 수 있음에도 불구하고, 성능 저하가 그에 반비례하지 않도록 한다.
• 오직 보상의 수 K와 시간 범위 T만을 입력으로 사용하는 완전히 탈중앙화된 알고리즘을 설계한다.
• 최악의 보상이 아닌 M번째와 (M+1)번째로 좋은 보상 사이의 격차에 따라 유리하게 스케일링되는 이론적 성능 저하 경계를 확보한다.
• 특히 최악의 보상이 낮거나 플레이어 수가 증가할 경우, SIC-MMAB2 및 EC-SIC와 비교해 뛰어난 실험적 성능을 보여준다.

제안 방법

• 신뢰도 기반 탐색과 가상 순위를 사용하여 사전 지식 없이 고보상 보상을 식별하는 새로운 분산 절차를 도입한다.
• 이중 단계 접근법을 사용한다: 첫 번째 단계에서는 각 플레이어가 신뢰구간 기반 검색을 통해 잠재적으로 좋은 보상을 식별하고, 두 번째 단계에서는 가상의 음악의자 방식을 사용해 외부 순위를 할당한다.
• 보상 선택 패턴을 기반으로 한 분산 카운팅 메커니즘을 사용해 플레이어 수를 추정하고 내부 순위를 할당한다.
• 충돌을 피하기 위해 가상 할당을 통한 협력적 조정을 통해 상위 M개의 보상 중 하나를 선택하는 분산 탐색 단계를 적용한다.
• 손실 선택 및 추정 단계의 고확률 정확성을 보장하기 위해 신뢰 수준 파rameter δ = 1/(T ln T)를 사용한다.
• 모든 구성 요소를 하나의 알고리즘으로 통합하여 오직 K(보상 수)와 T(시간 범위)만을 입력으로 요구한다.

실험 결과

연구 질문

• RQ1 보상의 최소 기대 보상에 대한 사전 지식이 없이도 다중 플레이어 밴딧 알고리즘을 설계할 수 있는가?
• RQ2 충돌 없는 다중 플레이어 밴딧에서 성능 저하가 최악의 보상에 반비례하는가? 그리고 이를 제거할 수 있는가?
• RQ3 충돌 감지 기능이나 공유 난수 없이도 완전히 탈중앙화된 알고리즘이 근사 최적의 성능 저하를 달성할 수 있는가?
• RQ4 플레이어 수가 다양하거나 최악의 보상이 낮을 경우, 이러한 알고리즘의 성능은 최신 기술과 어떻게 비교되는가?
• RQ5 최악의 보상의 보상이 매우 작거나 0에 가까워도 알고리즘의 성능이 안정적으로 유지되는가?

주요 결과

• 제안된 알고리즘은 성능 저하 상한이 O(∑_{k>M} ln T / (μ_(M)−μ_k) + K²M ln T + KM² (ln(1/(μ_(M)−μ_(M+1))))² ln T)로, 모든 보상 중 최소 보상 μ_(K)에 의존하지 않는다.
• 수치 실험 결과, K가 증가하거나 μ_(K)가 감소할수록 SIC-MMAB2 및 EC-SIC보다 수 개의 주기 차이로 뛰어난 성능을 보였다.
• μ_(K) = 0.001일 경우, SIC-MMAB2 및 EC-SIC는 탐색을 시작하지 못했지만, 제안된 알고리즘은 일관된 성능 저하 성능을 유지했다.
• 고충돌 환경(예: M=8)에서는 알고리즘이 더 빠르게 수렴하고 EC-SIC보다 뛰어난 성능을 보였으며, EC-SIC는 빈번한 충돌으로 인해 M 추정에 시간을 낭비했다.
• 작은 시간 범위에서는 약간의 성능 저하가 발생할 수 있으나, T가 증가함에 따라 항상 다른 알고리즘보다 뛰어나며, 이는 이론적 예측을 확인한다.
• μ_(K)의 변화에 대해 알고리즘의 성능이 안정적이며, 이는 성능 저하가 1/μ_(K)에 비례하지 않음을 확인하며, 이는 이전 방법의 핵심 제약이다.