[논문 리뷰] Decentralized Exploration in Multi-Armed Bandits

Raphaël Féraud, Réda Alami외 1명|arXiv (Cornell University)|2018. 11. 19.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 7

한 줄 요약

이 논문은 비동기적이고 탈중앙화된 플레이어를 가진 다수의 손잡이 밴딧에서 프라이버시를 보장하면서 협업적으로 최적의 손잡이를 식별하기 위한 일반적인 알고리즘인 탈중앙화 제거(Decentralized Elimination)를 제안한다. 이 알고리즘은 적대자가 한 명의 사용자 데이터에서만 정보를 추론할 수 있도록 제한함으로써 낮은 통신 비용과 프라이버시를 확보하며, 샘플 복잡도의 손실은 가장 빈번하게 참여하는 플레이어의 확률의 역수에 비례한다. 또한 비정적 환경으로까지 확장 가능하다.

ABSTRACT

We consider the decentralized exploration problem: a set of players collaborate to identify the best arm by asynchronously interacting with the same stochastic environment. The objective is to insure privacy in the best arm identification problem between asynchronous, collaborative, and thrifty players. In the context of a digital service, we advocate that this decentralized approach allows a good balance between the interests of users and those of service providers: the providers optimize their services, while protecting the privacy of the users and saving resources. We define the privacy level as the amount of information an adversary could infer by intercepting the messages concerning a single user. We provide a generic algorithm Decentralized Elimination, which uses any best arm identification algorithm as a subroutine. We prove that this algorithm insures privacy, with a low communication cost, and that in comparison to the lower bound of the best arm identification problem, its sample complexity suffers from a penalty depending on the inverse of the probability of the most frequent players. Then, thanks to the genericity of the approach, we extend the proposed algorithm to the non-stationary bandits. Finally, experiments illustrate and complete the analysis.

연구 동기 및 목표

• 비동기적이고 탈중앙화된 플레이어가 협업하여 최적의 손잡이를 식별하는 과정에서 프라이버시를 보장하는 데 도전 과제를 해결하기 위해.
• 사용자 메시지에서 발생하는 정보 泄露를 최소화하여 사용자 프라이버시와 서비스 제공자 효율성의 균형을 이루기 위해.
• 강력한 프라이버시를 유지하면서도 경쟁 가능한 샘플 복잡도를 달성하는 통신 효율적인 알고리즘을 설계하기 위해.
• 시간에 따라 변화하는 보상 분포를 가진 비정적 환경으로도 이 알고리즘의 적용을 확장하기 위해.

제안 방법

• 알고리즘은 기존의 최적의 손잡이 식별 알고리즘을 서브루틴으로 사용하여 모듈성과 광범위한 적용 가능성을 확보한다.
• 적대자가 한 명의 사용자 메시지에서 추론할 수 있는 정보를 제한함으로써 프라이버시를 확보하며, 프라이버시는 각 사용자가 기여하는 최대 정보 泄露로 정의된다.
• 플레이어들은 비동기적으로 통신하고 협업하며, 수신한 메시지를 바탕으로 각자가 소지한 최적의 손잡이에 대한 지역적 믿음을 갱신한다.
• 메시지 교환을 최소화함으로써 통신 비용을 낮추면서도 최적의 손잡이로의 수렴을 유지함으로써 알고리즘이 낮은 통신 비용을 확보한다.
• 탈중앙화의 비용을 수량화하기 위해, 가장 빈번하게 참여하는 플레이어의 확률의 역수에 비례하는 샘플 복잡도의 보상 항을 도입한다.
• 손잡이 보상의 변화를 감지하고 대응할 수 있도록 제거 기반 메커니즘을 조정하여 비정적 밴딧 환경으로의 확장을 달성한다.

실험 결과

연구 질문

• RQ1 비동기적이고 탈중앙화된 환경에서 플레이어들이 협업적으로 최적의 손잡이를 식별하면서도 사용자 프라이버시를 유지할 수 있는 방법은 무엇인가?
• RQ2 탈중앙화된 밴딧 학습에서 프라이버시, 통신 비용, 샘플 복잡도 간의 상호 상충 관계는 어떻게 되는가?
• RQ3 플레이어의 참여 빈도는 탈중앙화된 최적의 손잡이 식별의 샘플 복잡도에 어떤 영향을 미치는가?
• RQ4 제안된 접근 방식은 시간이 지남에 따라 변화하는 보상 분포를 가진 비정적 환경으로까지 확장 가능한가?
• RQ5 적대자가 한 명의 사용자 통신에서 추론할 수 있는 정보의 이론적 상한은 얼마인가?

주요 결과

• 탈중앙화 제거 알고리즘은 적대자가 한 명의 사용자 데이터에서만 정보를 추론할 수 있도록 제한함으로써 강력한 프라이버시를 확보하며, 프라이버시는 적대자가 한 명의 사용자 메시지에서 최대 얼마나 많은 정보를 얻을 수 있는지로 정의된다.
• 낮은 통신 비용을 확보하여 자원 제약이 있는 디지털 서비스에 적합하다.
• 샘플 복잡도는 중심화된 하한 대비 가장 빈번하게 참여하는 플레이어의 확률의 역수에 비례하는 보상 항을 포함한다.
• 이 접근은 일반적이며, 최적의 손잡이 식별 알고리즘을 서브루틴으로 통합할 수 있어 유연성과 확장성을 제공한다.
• 비정적 밴딧 환경으로의 확장은 시간에 따라 변화하는 보상 분포를 가진 환경에 대한 알고리즘의 적응 능력을 입증한다.
• 실험 결과는 이론적 분석을 검증하며, 다양한 설정에서 프라이버시와 효율성을 유지함을 보여준다.