[論文レビュー] Optimal Differentially Private ADMM for Distributed Machine Learning.

Jiahao Ding, Yanmin Gong+2 more|arXiv (Cornell University)|Jan 7, 2019

Privacy-Preserving Technologies in Data被引用数 20

ひとこと要約

本稿では、動的ゼロ集中微分プライバシー（dynamic zCDP）を達成するために、線形に減少する分散を持つガウスノイズを注入する、プライバシー保護型ADMMアルゴリズムP-ADMMを提案する。一般の凸問題に対しては非プライバシーADMMと同等の収束速度$Ó(1/K)$を維持し、強いプライバシー保証と実世界のデータセットにおける既存手法を上回る性能を達成している。

ABSTRACT

Due to massive amounts of data distributed across multiple locations, distributed machine learning has attracted a lot of research interests. Alternating Direction Method of Multipliers (ADMM) is a powerful method of designing distributed machine learning algorithm, whereby each agent computes over local datasets and exchanges computation results with its neighbor agents in an iterative procedure. There exists significant privacy leakage during this iterative process if the local data is sensitive. In this paper, we propose a differentially private ADMM algorithm (P-ADMM) to provide dynamic zero-concentrated differential privacy (dynamic zCDP), by inserting Gaussian noise with linearly decaying variance. We prove that P-ADMM has the same convergence rate compared to the non-private counterpart, i.e., $\mathcal{O}(1/K)$ with $K$ being the number of iterations and linear convergence for general convex and strongly convex problems while providing differentially private guarantee. Moreover, through our experiments performed on real-world datasets, we empirically show that P-ADMM has the best-known performance among the existing differentially private ADMM based algorithms.

研究の動機と目的

• 複数のエージェントに分散して保存された機密データを扱う分散機械学習におけるプライバシー漏洩を是正すること。
• 反復計算中に強いプライバシー保証を確保する、プライバシー保護型ADMMの変種を設計すること。
• プライバシーのためのノイズ注入を実施しながらも、標準ADMMの収束特性を維持すること。
• 実世界のデータセットにおいて、差分プライバシーADMMアルゴリズムの最先端の性能を達成すること。

提案手法

• 各反復で線形に減少する分散を持つガウスノイズを注入するプライバシー保護型ADMM、P-ADMMを提案する。
• 時間経過に伴うプライバシー損失を測定するために、動的ゼロ集中微分プライバシー（dynamic zCDP）を用いる。
• 反復回数に応じて線形に減少するノイズスケーリングを適用し、プライバシーと収束性能のバランスを図る。
• エージェントが局所的に計算し、隣接エージェントと更新情報を交換するADMMの反復的更新構造を保持する。
• zCDPの合成則を用いてプライバシー損失の理論的境界を導出し、累積的なプライバシー保証を保証する。
• 摂動を加えた双対変数とアンサンブル変数を用いた標準ADMMの更新式を採用し、差分プライバシーを確保する。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシーADMMアルゴリズムは、非プライバシー版と同等の収束速度を維持できるか？
• RQ2 反復的分散最適化に動的zCDPを効果的に適用し、強いプライバシーを保証できるか？
• RQ3 ADMMにおけるプライバシーと収束性能のバランスを取るためのノイズ注入戦略は何か？
• RQ4 実際の応用において、P-ADMMは既存の差分プライバシーADMM手法と比べてどのように優れているか？

主な発見

• P-ADMMは、一般の凸問題に対して非プライバシーADMMと同等の収束速度を達成し、$Ó(1/K)$の収束を示す。
• 強凸問題に対しては、P-ADMMは線形収束を示し、非プライバシー版と同等の性能を発揮する。
• 適切に調整されたノイズ注入により、動的ゼロ集中微分プライバシー（dynamic zCDP）を実現する。
• 実世界のデータセットを用いた実験評価により、P-ADMMは既存の差分プライバシーADMMベースの手法よりもモデルの精度と収束性能で優れていることが示された。
• ノイズの分散は反復に伴い線形に減少し、モデルの有効性を保ちつつ強力なプライバシーを確保する。