[論文レビュー] Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning

Antonious M. Girgis, Deepesh Data+1 more|arXiv (Cornell University)|Jul 19, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用数 5

ひとこと要約

本稿は、分散学習のサブサンプルシャッフルモデルにおけるリーマン微分プライバシー（RDP）のための新しい分析フレームワークを導入し、局所ランダム化メカニズムにおけるよりきついプライバシー境界を可能にする。サブサンプリングとシャッフルを考慮した明示的なRDP境界を導出することで、従来の近似DPアプローチと比較して、特に合成において顕著に強いプライバシー保証を達成する。実データセット上でもその改善が実証されている。

ABSTRACT

We study privacy in a distributed learning framework, where clients collaboratively build a learning model iteratively through interactions with a server from whom we need privacy. Motivated by stochastic optimization and the federated learning (FL) paradigm, we focus on the case where a small fraction of data samples are randomly sub-sampled in each round to participate in the learning process, which also enables privacy amplification. To obtain even stronger local privacy guarantees, we study this in the shuffle privacy model, where each client randomizes its response using a local differentially private (LDP) mechanism and the server only receives a random permutation (shuffle) of the clients' responses without their association to each client. The principal result of this paper is a privacy-optimization performance trade-off for discrete randomization mechanisms in this sub-sampled shuffle privacy model. This is enabled through a new theoretical technique to analyze the Renyi Differential Privacy (RDP) of the sub-sampled shuffle model. We numerically demonstrate that, for important regimes, with composition our bound yields significant improvement in privacy guarantee over the state-of-the-art approximate Differential Privacy (DP) guarantee (with strong composition) for sub-sampled shuffled models. We also demonstrate numerically significant improvement in privacy-learning performance operating point using real data sets.

研究の動機と目的

• クライアントがローカルデータを保護しながら協調的にモデルを学習する分散学習におけるプライバシー・ユーティリティのトレードオフを解決すること。
• リーマン微分プライバシー（RDP）を用いたサブサンプルシャッフルモデルの厳密なプライバシー解析を開発し、近似DPよりもきつい合成境界を可能にすること。
• 任意の離散的局所微分プライバシー（LDP）メカニズムがサブサンプルシャッフル設定に適用可能な、明示的かつ数値的に扱えるRDP境界を導出すること。
• 提案されたRDP解析が、特に強い合成条件下で、既存の手法と比較して測定可能なプライバシー・ユーティリティ性能の向上をもたらすかどうかを実証すること。
• 確率的勾配降下法におけるプライバシー・コンバージェンスのトレードオフを確立し、プライバシー保証と学習収束速度の関係を明示すること。

提案手法

• 著者らは、サブサンプルシャッフルメカニズムのRDP解析を、シャッフルメカニズムにおける三値 |χ|^α-DP の解析に還元する新しい理論的技術を導入し、計算が容易な形にしている。
• 任意の離散的 ε₀-LDP メカニズムに対するRDPの明示的上界を、RDP順序 λ、サブサンプリング率 γ、LDPパラメータ ε₀、クライアント数 n の関数として導出している。
• この手法は、シャッフルモデルの構造に依存しており、各クライアントがLDPメカニズムを適用し、サーバーがメッセージのランダムな順列のみを受信するという特徴を活用しており、シャッフルによるプライバシーの強化を可能としている。
• 隣接するデータセットにおける二項分布に類似た確率変数の分散計算を用いて、RDPの下界を確立し、上界のタイトネスを検証している。
• RDP合成定理を用いて複数反復にわたるプライバシー解析を組み合わせ、実用的な解釈のため近似DPに変換している。
• 凸性およびリプシッツ連続性の仮定の下で収束解析を実施し、勾配分散の有界性と確率的勾配降下法における収束速度の関係を結びつけている。

実験結果

リサーチクエスチョン

• RQ1 任意の離散的局所ランダム化メカニズムを用いたサブサンプルシャッフルモデルにおけるリーマン微分プライバシーを、どのようにきつく境界付けることができるか？
• RQ2 RDP合成を用いたサブサンプルシャッフルモデルにおけるプライバシー・ユーティリティのトレードオフは何か？ また、近似DPの境界と比較してどう異なるか？
• RQ3 提案されたRDP解析は、特に強い合成条件下で、既存の手法と比較して顕著に優れたプライバシー保証を達成できるか？
• RQ4 実用的状況下で、サブサンプリング率、クライアント数、LDPパラメータ ε₀ とプライバシー境界はどのようにスケーリングするか？
• RQ5 導出されたプライバシー制約下で、サブサンプルシャッフルモデルにおける確率的勾配降下法の収束速度は何か？

主な発見

• 提案されたRDP境界は明示的であり、数値的に計算可能であり、過去の近似DP境界が制限を受けるパラメータ領域を含む、あらゆるパラメータ領域に有効である。
• 数値的結果から、特に低プライバシー領域において、強い合成条件下でRDPに基づくプライバシー保証が最先端の近似DP境界を顕著に上回ることが示された。
• 実データセット上でも、提案手法はプライバシー・ユーティリティ性能に測定可能な改善をもたらし、理論的境界の上回る実用的関連性を示している。
• RDP上界がタイトであることが、隣接データセット下での二項分布に類似た確率変数の分散解析により、一致する下界の確立によって裏付けられた。
• プライバシー・コンバージェンスのトレードオフ解析により、アルゴリズムが O(DG log(T)/√T) の収束速度を達成することが確認された。ここで G は勾配分散とサブサンプリング率に依存する。
• 解析により、サブサンプリングとシャッフルによるプライバシーの強化が乗算的に組み合わさり、それぞれのメカニズム単体よりも強力な全体的なプライバシー保証が得られることを明らかにした。