[論文レビュー] Federated Bayesian Optimization via Thompson Sampling

Zhongxiang Dai, Kian Hsiang Low+1 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Bandit Algorithms Research参考文献 64被引用数 41

ひとこと要約

この論文は Federated Thompson Sampling (FTS) を導入します。ランダムフーリエ特徴量と Thompson sampling を用いたフェデレーテッドベイズ最適化手法で、異種エージェント間でのブラックボックス最適化を効率的かつ堅牢に行えます。理論的な no-regret 保証を提供し、通信と計算の効率を実証的に示します。

ABSTRACT

Bayesian optimization (BO) is a prominent approach to optimizing expensive-to-evaluate black-box functions. The massive computational capability of edge devices such as mobile phones, coupled with privacy concerns, has led to a surging interest in federated learning (FL) which focuses on collaborative training of deep neural networks (DNNs) via first-order optimization techniques. However, some common machine learning tasks such as hyperparameter tuning of DNNs lack access to gradients and thus require zeroth-order/black-box optimization. This hints at the possibility of extending BO to the FL setting (FBO) for agents to collaborate in these black-box optimization tasks. This paper presents federated Thompson sampling (FTS) which overcomes a number of key challenges of FBO and FL in a principled way: We (a) use random Fourier features to approximate the Gaussian process surrogate model used in BO, which naturally produces the parameters to be exchanged between agents, (b) design FTS based on Thompson sampling, which significantly reduces the number of parameters to be exchanged, and (c) provide a theoretical convergence guarantee that is robust against heterogeneous agents, which is a major challenge in FL and FBO. We empirically demonstrate the effectiveness of FTS in terms of communication efficiency, computational efficiency, and practical performance.

研究の動機と目的

• 勾配が使えないハイパーパラメータチューニングや他のブラックボックスタスクのための連合ゼロ次最適化（FBO）を動機づける。
• 生データではなくコンパクトな代理情報をやり取りすることによりデータプライバシーを保つ、原理的な FBO アルゴリズムを開発する。
• エージェントの異種性に頑健な理論的収束保証を提供する。
• 現実世界の実験を通じて通信と計算の実用的な利点を示す。

提案手法

• BO でガウス過程代替を近似するためにランダムフーリエ特徴量（RFF）を使用し、交換可能な線形モデルパラメータを得る。
• Federated Thompson Sampling (FTS) を導入し、各イテレーションでターゲットエージェントの GP あるいは他のエージェントの GP をサンプルして、対応するサンプルを最大化して次のクエリを選ぶ。
• パラメータのコンパクトな交換を可能にするため、エージェント間で共通のランダム特徴マップを共有する。
• 共有情報とローカルサンプルを使い分ける単調な探索-利用スケジュール p_t を組み込み、ノーリグレット保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 連合 BO を、生データではなくコンパクトな GP 代理情報を交換することによりデータプライバシーを保つように定式化できるか？
• RQ2 エージェントの異種性の下で、FTS は通信・計算効率を維持しつつ理論的なノーリグレット保証を提供するか？
• RQ3 性能と通信コストの観点で、実世界の実験において FTS はメタラーニング BO 手法（RGPE, TAF）と比較してどう機能するか？
• RQ4 ランダム特徴量の次元 M とエージェントの類似性（d_n）が performance と regret に与える影響は何か？

主な発見

• FTS は標準 TS、RGPE、TAF と競合するか優れた性能を発揮しつつ、通信および計算のオーバーヘッドを削減する。
• 理論的結果は、異種エージェント（d_n および t_n）に頑健な FTS のノーリグレット境界を示す。
• 地雷探知と行動認識にわたる実験は、より小さなメッセージを用いる FTS が性能と速度の両面でベースラインを上回ることを示す。
• FTS は応答遅延エージェントをサンプリング分布から除外することで収束性を損なうことなく、自然にストラグラーに対処する。