[論文レビュー] Shuffle Private Stochastic Convex Optimization

Albert Cheu, Matthew Joseph+2 more|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用数 6

ひとこと要約

本稿は、$β$-ノルムが有界なプライベートベクトル和算のための新しい非インタラクティブシャッフルプロトコルを活用することで、ローカルモデルよりも著しく優れたプライバシー性能を達成する、インタラクティブなシャッフルプライベートな確率的凸最適化プロトコルを導入する。ミニバッチSGD、加速勾配降下法、ネステロフのスムージングを統合することにより、特に完全インタラクティブ設定において、中央モデルの性能に近いまたは同等の損失バウンドを達成する。

ABSTRACT

In shuffle privacy, each user sends a collection of randomized messages to a trusted shuffler, the shuffler randomly permutes these messages, and the resulting shuffled collection of messages must satisfy differential privacy. Prior work in this model has largely focused on protocols that use a single round of communication to compute algorithmic primitives like means, histograms, and counts. We present interactive shuffle protocols for stochastic convex optimization. Our protocols rely on a new noninteractive protocol for summing vectors of bounded $\ell_2$ norm. By combining this sum subroutine with mini-batch stochastic gradient descent, accelerated gradient descent, and Nesterov's smoothing method, we obtain loss guarantees for a variety of convex loss functions that significantly improve on those of the local model and sometimes match those of the central model.

研究の動機と目的

• 確率的凸最適化におけるローカルモデルと中央モデルの間のプライバシー性能のギャップを埋めること。
• 強力なプライバシーを維持しつつ、既存のローカルモデルを上回るプライバシー性能を実現する実用的で逐次的インタラクティブなシャッフルプライベートプロトコルの開発。
• 有界な$β$-ノルムを持つベクトルのプライベート和算のための非インタラクティブシャッフルプロトコルの設計。これにより、より正確な勾配推定が可能となる。
• シャッフルモデルを、凸最適化のためのインタラクティブプロトコル（逐次的および完全インタラクティブ）をサポートするように拡張すること。
• シャッフルプライバシー下での凸関数、滑らか関数、強く凸関数の損失関数に対して、タイトなプライバシーとプライバシー性能の保証を導出すること。

提案手法

• $d$次元のベクトルを、$Ø_2$-ノルムが$L$以下に制限されるように、複数のランダム化されたメッセージを用いて和算する非インタラクティブシャッフルプロトコルを提案。プライバシーの強化とノイズ分散の低減を図る。
• ミニバッチ確率的勾配降下法を採用し、ガウスメカニズムを用いてノイズを追加することで、シャッフルモデルにおける$(\u0005, δ)$-微分プライバシーを確保する。
• 滑らかでない凸関数に対処するため、ネステロフのスムージング法を適用。これにより収束速度が低下するが、プライバシーは保持される。
• 完全インタラクティブモデルで加速勾配降下法を適用し、凸関数に対して最適な$O(\sqrt{d}/(\varepsilon n))$の損失を達成する。
• 勾配とパラメータ更新のための別々のノイズ注入を含む二段階プロトコルを設計。後処理と合成則を用いてエンド・ツー・エンドのプライバシーを保証する。
• シャッフルによるプライバシー強化と高度な合成定理を活用し、複数ラウンドにわたるプライバシー損失を制限する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブシャッフルプロトコルは、確率的凸最適化において中央モデルに近いプライバシー性能を達成できるか？
• RQ2 非インタラクティブシャッフルプロトコルは、先行研究と比較して、ノイズ分散をより低く抑えるように設計可能か？
• RQ3 シャッフルモデル下で、凸関数、滑らか関数、強く凸関数の損失関数に対して、達成可能な最もタイトなプライバシーとプライバシー性能のトレードオフは何か？
• RQ4 加速法とスムージング技術は、シャッフルモデルに適応可能か？プライバシー制約下での収束速度を向上できるか？
• RQ5 逐次的プロトコルと完全インタラクティブプロトコルの選択が、シャッフルプライベート最適化における最終的なプライバシー性能にどのように影響するか？

主な発見

• 提案された非インタラクティブシャッフルプロトコルは、先行手法と比較して著しく低いノイズ分散を達成し、より正確な勾配推定を可能にする。
• 凸関数の損失関数に対して、逐次的インタラクティブプロトコルは$O(d^{1/3}/(\varepsilon^{2/3}n^{2/3}))$の損失を達成し、ローカルモデルの$O(\sqrt{d}/(\varepsilon\sqrt{n}))$を上回る。
• 完全インタラクティブモデルでは、凸関数の損失が中央モデルの最適レート$O(\sqrt{d}/(\varepsilon n))$に一致する。
• 強く凸で滑らかな関数に対しては、完全インタラクティブプロトコルが$O(d/\varepsilon^2 n^2)$の損失を達成し、中央モデルの最適レートと一致する。
• ノイズ付き勾配推定器の分散は$O(L^2/b + dL^2 \log(1/\delta)/(b^2 \varepsilon^2))$で有界であり、タイトなプライバシー性能分析を可能にする。
• プロトコル設計により、複数ラウンドにわたる相互作用に対しても、適切なノイズ注入と合成則を用いて$(\varepsilon, \delta)$-微分プライバシーが保証される。