[論文レビュー] Differentially Private Federated Bayesian Optimization with Distributed Exploration

Zhongxiang Dai, Bryan Kian Hsiang Low+1 more|arXiv (Cornell University)|Oct 27, 2021

Privacy-Preserving Technologies in Data参考文献 69被引用数 15

ひとこと要約

本稿では、ユーザー単位のプライバシーを保証しながらユーティリティを向上させるために、微分プライバシーと分散型探索を統合した、差分プライバシー付きフェデレーテッドベイジアン最適化フレームワークであるDP-FTS-DEを提案する。探索空間を部分領域に分割し、エージェントが局所的に探索できるようにすることで、探索効率を向上させるとともに、一般化されたDPフレームワークを用いて強いプライバシー保証を達成し、実世界の実験において望ましいプライバシー-ユーティリティトレードオフを実現する。

ABSTRACT

Bayesian optimization (BO) has recently been extended to the federated learning (FL) setting by the federated Thompson sampling (FTS) algorithm, which has promising applications such as federated hyperparameter tuning. However, FTS is not equipped with a rigorous privacy guarantee which is an important consideration in FL. Recent works have incorporated differential privacy (DP) into the training of deep neural networks through a general framework for adding DP to iterative algorithms. Following this general DP framework, our work here integrates DP into FTS to preserve user-level privacy. We also leverage the ability of this general DP framework to handle different parameter vectors, as well as the technique of local modeling for BO, to further improve the utility of our algorithm through distributed exploration (DE). The resulting differentially private FTS with DE (DP-FTS-DE) algorithm is endowed with theoretical guarantees for both the privacy and utility and is amenable to interesting theoretical insights about the privacy-utility trade-off. We also use real-world experiments to show that DP-FTS-DE achieves high utility (competitive performance) with a strong privacy guarantee (small privacy loss) and induces a trade-off between privacy and utility.

研究の動機と目的

• フェデレーテッド・トムソン・サンプリング（FTS）におけるきめ細やかなプライバシー保証の欠如に対処すること。FTSは、フェデレーテッド・ベイジアン最適化分野における最先端のアルゴリズムである。
• 実用的なユーティリティと協調的利点を維持しつつ、FTSに差分プライバシー（DP）を統合すること。
• 局所的な部分領域にわたる分散型探索を可能にすることで、フェデレーテッドBOにおける探索効率を向上させること。
• 一般DPフレームワークを介して理論的プライバシー保証を維持しつつ、エージェントの寄与度に適応的に重みを付けることで性能を向上させる手法の開発。
• 提案手法のプライバシー-ユーティリティトレードオフおよび多様な実世界応用分野における耐性を、実証的に検証すること。

提案手法

• 本稿では、一般DPフレームワークに準拠できるようにFTSを変更し、各イテレーションでサブサンプルされたガウス機構を適用することで差分プライバシーを保証する。
• グローバル探索空間をP個の局所的サブリージョンに分割し、各エージェントを初期段階で1つのサブリージョンに割り当てることで、分散型探索（DE）を導入する。
• 中央サーバーは各サブリージョンごとに別々に情報を集約し、そのサブリージョンを探索するエージェントの寄与度に高い重みを付ける適応的重み付けを実施するが、時間経過とともに徐々に均等な重みへと変化させる。
• 本手法は、一般DPフレームワークが異なるパラメーターベクトルを処理できることを活用し、各サブリージョンの集約ベクトルを別個のパラメーターベクトルとして扱うことで、プライバシー保証を維持する。
• 各サブリージョンで局所的なガウス過程（GP）サーヴィレートを用いることで、より小さな局所的領域におけるモデリング精度と探索効率を向上させる。
• 獲得関数はL-BFGS-Bを用いて最適化し、ドメイン全体にわたる一様乱数サンプリングとランダムリスタートを併用するが、計算コストは最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシーをフェデレーテッド・トムソン・サンプリング（FTS）に効果的に統合できるか。その際、強い理論的プライバシー保証を維持できるか。
• RQ2 分散型探索（DE）は、差分プライバシー付きフェデレーテッド・ベイジアン最適化におけるユーティリティをどのように向上させるか。
• RQ3 差分プライバシーの下で、適応的重み付け方式と非適応的重み付け方式の性能にどのような影響を与えるか。
• RQ4 サブリージョン数（P）がDP-FTS-DEにおけるプライバシー-ユーティリティトレードオフに与える影響は何か。
• RQ5 提案手法は、実世界のフェデレーテッドハイパーパramータチューニングおよび最適化タスクにおいて、強力なプライバシー保証を維持しながら競争力のある性能を達成できるか。

主な発見

• DP-FTS-DEは、実世界の実験において、強力なプライバシー保証を維持しながら競争力のある性能を示し、望ましいプライバシー-ユーティリティトレードオフを実現した。
• 分散型探索の導入により、特に最適化の初期段階において、より効果的な局所的探索が可能となり、ユーティリティが顕著に向上した。
• 適応的重み付け方式は、非適応的ものよりも優れている。特に最適化が進行するに従い、複数のサブリージョンを探索したエージェントからの情報の有効活用が可能になるためである。
• 本手法は、サブリージョン数（P=2,3,4,6）や重み設定の変化に対しても耐性を示し、安定性と実用性を確認した。
• Rényi DPのバリエーションは、標準DPと同等のユーティリティを維持しながら、わずかに良好なプライバシー損失を示し、よりきめ細やかなプライバシー会計の可能性を示唆している。
• DPおよびDEによって引き起こされる計算コストの増加は無視できるほど小さく、サーバーでは追加コストO(PNq)が生じるが、エージェントへの影響は最小限に抑えられている。