[논문 리뷰] Collaborative Top Distribution Identifications with Limited Interaction

Nikolai Karpov, Qin Zhang외 1명|arXiv (Cornell University)|2020. 04. 20.

Advanced Bandit Algorithms Research참고 문헌 59인용 수 4

한 줄 요약

이 논문은 $K$명의 에이전트 간 상호작용을 제한하는 조건에서 상위-$m$ 암들(평균이 가장 높은 분포들)을 식별하기 위한 최적의 협업 알고리즘을 제안한다. 이 알고리즘은 $\tilde{O}(H^{\langle m\rangle}/K)$의 거의 최적의 실행 시간을 달성하며, $O(\log(1/\Delta^{\langle m\rangle}))$회의 라운드를 사용한다. 실행 시간과 라운드 수 사이의 날카로운 상호보완 관계를 규명하고, 상위-$m$ 식별과 상위-1 식별 간, 그리고 고정시간과 고정신뢰도 설정 간의 기본적인 복잡도 격차를 드러낸다.

ABSTRACT

We consider the following problem in this paper: given a set of $n$ distributions, find the top-$m$ ones with the largest means. This problem is also called {\em top-$m$ arm identifications} in the literature of reinforcement learning, and has numerous applications. We study the problem in the collaborative learning model where we have multiple agents who can draw samples from the $n$ distributions in parallel. Our goal is to characterize the tradeoffs between the running time of learning process and the number of rounds of interaction between agents, which is very expensive in various scenarios. We give optimal time-round tradeoffs, as well as demonstrate complexity separations between top-$1$ arm identification and top-$m$ arm identifications for general $m$ and between fixed-time and fixed-confidence variants. As a byproduct, we also give an algorithm for selecting the distribution with the $m$-th largest mean in the collaborative learning model.

연구 동기 및 목표

• 최소한의 커뮤니케이션 라운드로 다수의 에이전트가 참여하는 환경에서 평균이 가장 큰 분포들인 상위-$m$ 분포를 식별하는 문제에 대응하기 위해.
• 제한된 상호작용 조건 하에서 협업 학습에서 실행 시간과 커뮤니케이션 라운드 수 사이의 상호보완 관계를 규명하기 위해.
• 상위-$m$ 암 식별과 상위-1 암 식별 간, 그리고 고정시간과 고정신뢰도 설정 간의 복잡도 격차를 규명하기 위해.
• 커뮤니케이션이 비용이 많이 들 때조차도 거의 최적의 실행 시간을 확보하면서 라운드 수를 최소화하는 알고리즘을 설계하기 위해.
• 협업 모델에서 $m$-번째로 큰 평균을 가진 분포를 효율적으로 식별할 수 있는 방법을 제공하기 위해.

제안 방법

• 에이전트들이 경험적 평균과 신뢰구간을 기반으로 후보 암 집합을 반복적으로 개선하는 재귀적 제거 프레임워크를 사용한다.
• 각 라운드 $r$ 동안, 에이전트들은 $I_r$에 속한 암들을 $T_r = O(\log(1/\delta)/(K\epsilon_r^2))$번의 샘플링으로 선택하며, $\epsilon_r$는 기하급수적으로 감소한다.
• 각 라운드 종료 시 에이전트들이 커뮤니케이션을 통해 활성 집합 $I_{r+1}$를 업데이트하며, 신뢰구간 기반으로 상위-$m$에 속할 가능성이 낮은 암들을 제거한다.
• 알고리즘은 세 가지 불변 조건을 유지한다: $m_r = |\text{Top}_m \cap I_r|$, $\text{Acc}_r \subseteq \text{Top}_m$, 및 $\text{Rej}_r \subseteq I \setminus \text{Top}_m$.
• 확률적으로 높은 정확도를 확보하기 위해 라운드와 암들에 대한 유니온 바운드를 활용한 농도 부등식(Hoeffding의 부등식)을 사용한다.
• 정지 조건은 모든 암들에 대해 $\epsilon_r \leq \Delta^{\langle m\rangle}_i / 4$일 때 발생하며, 이는 모든 상위-$m$ 암들이 정확히 식별됨을 보장한다.

실험 결과

연구 질문

• RQ1 협업 상위-$m$ 암 식별에서 실행 시간과 커뮤니케이션 라운드 수 사이의 최적의 상호보완 관계는 무엇인가?
• RQ2 다중 에이전트 환경에서 상위-$m$ 식별의 복잡도는 상위-1 식별과 어떻게 다를까?
• RQ3 고정시간과 고정신뢰도 변형 간의 상위-$m$ 식별에서 라운드 복잡도 측면에서 분리가 가능한가?
• RQ4 제한된 상호작용 조건 하에서 상위-$m$ 암 식별을 효율적으로 수행할 수 있는 방법이 있는가?
• RQ5 협업 학습에서 거의 최적의 스피드업을 달성하기 위해 필요한 최소 라운드 수는 얼마인가?

주요 결과

• 제안된 알고리즘은 실행 시간이 $O\left(\frac{H^{\langle m\rangle}}{K}\log\left(\frac{n}{\delta}\log H^{\langle m\rangle}\right)\right)$이며, $O(\log(1/\Delta^{\langlem\rangle}))$회의 라운드를 사용한다. 이는 로그 인자들을 제외한 하한값과 일치한다.
• 이 알고리즘은 이벤트 $\mathcal{E}_3$ 하에서 확률 $1-\delta$ 이상으로 상위-$m$ 암들을 정확히 식별한다. 이 이벤트는 높은 확률로 발생한다.
• 상위-$m$와 상위-1 암 식별 간의 복잡도 격차가 존재한다: $m > 1$일 경우 상위-$m$ 식별의 라운드 복잡도는 상위-1 식별보다 엄격히 높다.
• 상위-$m$ 식별의 고정신뢰도 변형은 $\Omega(\log(1/\Delta^{\langle m\rangle}))$회의 라운드를 요구하며, 이는 상한값과 일치하여 날카로운 복잡도의 날카로움을 보여준다.
• 알고리즘은 라운드 동안 활성 집합을 정교하게 유지함으로써 $m$-번째로 큰 평균을 가진 암을 식별할 수 있도록 한다.
• 실행 시간 복잡도는 로그 인자들을 제외한 최적이다. 또한, 협업 학습에서 거의 완전한 스피드업을 달성하기 위해 필요한 라운드 복잡도는 날카로운 상한값을 갖는다.