[논문 리뷰] Federated Bayesian Optimization via Thompson Sampling

Zhongxiang Dai, Kian Hsiang Low외 1명|arXiv (Cornell University)|2020. 10. 20.

Advanced Bandit Algorithms Research참고 문헌 64인용 수 41

한 줄 요약

이 논문은 Federated Thompson Sampling (FTS)을 도입합니다. 이는 무작위 푸리에 특성(random Fourier features)과 톰슨 샘플링을 이용한 연합 베이지안 최적화 방법으로, 이질적인 에이전트 간에 효율적이고 강건한 블랙박스 최적화를 가능하게 합니다. 이론적으로 no-regret 보장을 제공하고, 통신 및 계산 효율성을 실험적으로 입증합니다.

ABSTRACT

Bayesian optimization (BO) is a prominent approach to optimizing expensive-to-evaluate black-box functions. The massive computational capability of edge devices such as mobile phones, coupled with privacy concerns, has led to a surging interest in federated learning (FL) which focuses on collaborative training of deep neural networks (DNNs) via first-order optimization techniques. However, some common machine learning tasks such as hyperparameter tuning of DNNs lack access to gradients and thus require zeroth-order/black-box optimization. This hints at the possibility of extending BO to the FL setting (FBO) for agents to collaborate in these black-box optimization tasks. This paper presents federated Thompson sampling (FTS) which overcomes a number of key challenges of FBO and FL in a principled way: We (a) use random Fourier features to approximate the Gaussian process surrogate model used in BO, which naturally produces the parameters to be exchanged between agents, (b) design FTS based on Thompson sampling, which significantly reduces the number of parameters to be exchanged, and (c) provide a theoretical convergence guarantee that is robust against heterogeneous agents, which is a major challenge in FL and FBO. We empirically demonstrate the effectiveness of FTS in terms of communication efficiency, computational efficiency, and practical performance.

연구 동기 및 목표

• 하이퍼파라미터 튜닝 및 gradient를 사용할 수 없는 다른 블랙박스 작업을 위한 연합 제로차(제로) 최적화를 동기 부여한다.
• 원시 데이터를 교환하는 대신 컴팩트한 대리 정보를 교환하여 데이터 프라이버시를 보존하는 원칙적인 FBO 알고리즘을 개발한다.
• 에이전트 이질성에 강건한 이론적 수렴 보장을 제공한다.
• 실세계 실험을 통해 통신 및 계산 측면의 실질적 이점을 입증한다.

제안 방법

• 가우시안 프로세스 대리모형을 근사하기 위해 BO에서 랜덤 푸리에 특성(RFF)을 사용하고, 교환 가능하는 선형-모델 매개변수를 도출한다.
• Federated Thompson Sampling(FTS)을 도입한다. 각 반복에서 대상 에이전트의 GP 또는 다른 에이전트의 GP를 샘플링하고, 해당 샘플을 최대화하여 다음 질의를 선택한다.
• 에이전트 간에 컴팩트한 매개변수 교환을 가능하게 하기 위해 공통 랜덤 특성 맵을 공유한다.
• 공유 정보와 로컬 샘플 사용 시기를 결정하는 단조로운 탐색-개 exploitation 스케줄 p_t를 도입하고, no-regret 보장을 제공한다.

실험 결과

연구 질문

• RQ1 연합 BO를 원시 데이터가 아닌 컴팩트한 GP 대리 정보를 교환하여 데이터 프라이버시를 보존하도록 구성할 수 있는가?
• RQ2 에이전트 이질성 하에서 FTS가 이론적 no-regret 보장을 제공하면서도 통신 및 계산 효율을 유지하는가?
• RQ3 성능 및 통신 비용 측면에서 FTS가 메타러닝 BO 방법(RGPE, TAF)과 비교하여 실무적으로 어떻게 수행하는가?
• RQ4 무작위 특성 차원 M과 에이전트 유사성(d_n)이 성능 및 후회에 어떤 영향을 미치는가?

주요 결과

• FTS는 표준 TS, RGPE, TAF에 비해 통신 및 계산 비용을 줄이면서 경쟁력 있거나 우수한 성능을 달성한다.
• 이론적 결과는 이질적 에이전트(d_n 및 t_n)에 대해 강건한 no-regret 경계가 있음을 보인다.
• 지뢰 탐지 및 활동 인식에 걸친 실험에서 더 작은 메시지로 FTS가 기준선보다 성능과 속도 모두에서 우수할 수 있음을 보여준다.
• FTS는 반응이 없는 에이전트를 샘플링 분포에서 제외함으로써 수렴성을 해치지 않으면서 느린 에이전트를 자연스럽게 처리한다.