[논문 리뷰] Collaborative Learning with Limited Interaction: Tight Bounds for Distributed Exploration in Multi-Armed Bandits

Tao Chao, Qin Zhang외 1명|arXiv (Cornell University)|2019. 04. 05.

Advanced Bandit Algorithms Research참고 문헌 41인용 수 6

한 줄 요약

이 논문은 제한된 통신을 가진 다중 손잡이 밴딧에서 협업적 최적 손잡이 식별을 연구하며, 효율적인 알고리즘을 제안하고 고정신뢰도 및 고정시간 설정에서 필요로 하는 통신 라운드 수에 대해 거의 날카로운 하한을 확립한다. K명의 에이전트가 있을 경우, 최소한의 상호작용 조건에서도 고정신뢰도 및 고정시간 설정에서 Θ(K)에 가까운 최적의 속도 향상이 달성됨을 보여준다.

ABSTRACT

Best arm identification (or, pure exploration) in multi-armed bandits is a fundamental problem in machine learning. In this paper we study the distributed version of this problem where we have multiple agents, and they want to learn the best arm collaboratively. We want to quantify the power of collaboration under limited interaction (or, communication steps), as interaction is expensive in many settings. We measure the running time of a distributed algorithm as the speedup over the best centralized algorithm where there is only one agent. We give almost tight round-speedup tradeoffs for this problem, along which we develop several new techniques for proving lower bounds on the number of communication steps under time or confidence constraints.

연구 동기 및 목표

• 제한된 통신 단계 하에서 분산 다중 손잡이 밴딧에서 협업의 능력을 정량화하기 위해.
• 협업적 최적 손잡이 식별에서 통신 라운드 수와 실행 시간 사이의 상호 상충 관계를 분석하기 위해.
• 고정신뢰도 및 고정시간 설정에서 필요로 하는 통신 라운드 수에 대해 거의 날카로운 하한을 확립하기 위해.
• 시간 또는 신뢰도 제약 조건 하에서 통신 복잡도 하한을 증명하기 위한 새로운 기법을 개발하기 위해.
• 최소한의 상호작용으로 거의 최적의 속도 향상을 달성하는 효율적인 협업 알고리즘을 설계하기 위해.

제안 방법

• 각 라운드의 끝에서만 통신이 가능한 K명의 에이전트가 라운드 단위로 손잡이를 뽑는 분산 모델을 제안한다.
• 끌어다미기 수와 보상 합을 사용하여 탐색과 통신를 이끄는 결정론적 알고리즘 프레임워크를 도입한다.
• 에이전트가 한 라운드에 특정 수의 뽑기 수를 초과할 확률을 분석하기 위해 조건부 확률 추론을 사용한다.
• Pinsker의 부등식과 Kullback-Leibler 발산을 사용하여 서로 다른 갭 매개변수(Δ 및 Δ/ζ) 하에서 분포를 비교한다.
• 다양한 밴딧 인스턴스에서의 오류 확률 하한을 융합하여 하한을 유도하기 위한 융합 기법을 적용한다.
• 집중 불등식과 유니온 바운드를 사용하여 개별 에이전트가 과도한 뽑기 수를 가지는 확률를 제어한다.

실험 결과

연구 질문

• RQ1 고정신뢰도 설정에서 K명의 에이전트가 분산 다중 손잡이 밴딧 환경에서 높은 확률로 최적의 손잡이를 식별하기 위해 필요한 최소 통신 라운드 수는 얼마인가?
• RQ2 고정신뢰도 및 고정시간 제약 조건 하에서 통신 라운드 수는 에이전트 수 K에 따라 어떻게 변화하는가?
• RQ3 최소한의 상호작용으로 거의 최적의 속도 향상을 달성할 수 있으며, 이러한 협업의 근본적 한계는 무엇인가?
• RQ4 협업 밴딧 학습에서 통신 복잡도를 분석하기 위해 어떤 새로운 하한 기법이 필요하는가?
• RQ5 에이전트가 좁은 조율 조건 하에서 손잡이를 배치로 뽑도록 제한될 경우 성능은 어떻게 저하되는가?

주요 결과

• 논문은 고정신뢰도 최적 손잡이 식별에 대해 라운드 복잡도에 대해 거의 날카로운 하한 Ω(1 / log K)을 확립하며, 통신 횟수를 이 임계값 이하로 줄일 수 없음을 보여준다.
• 고정시간 최적 손잡이 식별에 대해 논문은 라운드 복잡도 하한 Ω(log T / log K)을 증명하며, 라운드 수가 시간 T에 대해 로그적으로 증가함을 시사한다.
• 제안된 알고리즘은 고정시간 설정에서 라운드 복잡도 O(log T / log K), 고정신뢰도 설정에서 O(log(1/δ) / log K)를 달성하며, 하한과 로그 인자 외에는 일치한다.
• K명의 에이전트가 도달하는 속도 향상은 시간 복잡도 측면에서 Θ(K)이며, 이는 총 뽑기 수가 에이전트 수에 선형적으로 비례함을 의미한다.
• 분석 결과에 따르면 통신이 핵심적인 제약 조건임을 확인할 수 있으며, K명의 에이전트가 있더라도 최악의 경우 통신 라운드 수를 Ω(1 / log K) 이하로 줄일 수 없다.
• 논문은 조건부 확률, KL 발산, Pinsker의 부등식을 융합한 새로운 기법을 도입하여 제한된 상호작용 조건 하에서 날카로운 하한을 도출한다.