[論文レビュー] Differentially Private Distributed Optimization

Zhenqi Huang, Sayan Mitra+1 more|arXiv (Cornell University)|Jan 12, 2014

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、個々の関数のプライバシーを保ちながら、エージェントが局所的凸コスト関数の和を共同で最小化するためのプライバシー保護型分散最適化アルゴリズムを提案する。ラプラスノイズを時間とともに減少する分散で注入し、ステップサイズを徐々に小さくすることで、$\epsilon$-微分プライバシーを満たし、最適解への収束を保証する。精度は$\epsilon^2$に反比例する。ノイズとステップサイズの減少レートを丁寧に調整することで、プライバシーと収束のバランスを図り、プライバシーと精度のトレードオフに関する理論的境界を確立する。

ABSTRACT

In distributed optimization and iterative consensus literature, a standard problem is for $N$ agents to minimize a function $f$ over a subset of Euclidean space, where the cost function is expressed as a sum $\sum f_i$. In this paper, we study the private distributed optimization (PDOP) problem with the additional requirement that the cost function of the individual agents should remain differentially private. The adversary attempts to infer information about the private cost functions from the messages that the agents exchange. Achieving differential privacy requires that any change of an individual's cost function only results in unsubstantial changes in the statistics of the messages. We propose a class of iterative algorithms for solving PDOP, which achieves differential privacy and convergence to the optimal value. Our analysis reveals the dependence of the achieved accuracy and the privacy levels on the the parameters of the algorithm. We observe that to achieve $ε$-differential privacy the accuracy of the algorithm has the order of $O(\frac{1}{ε^2})$.

研究の動機と目的

• エージェントが個々のコスト関数のプライバシーを保護しながら、グローバルコスト関数を最小化するプライベート分散最適化問題（PDOP）に対処すること。
• 中央集権的な管理者や個々のコスト関数のテンプレートに依存せずに、完全に分散型で反復的に動作するアルゴリズムを設計すること。
• 収束性、プライバシー水準（$\epsilon$-微分プライバシー）、およびアルゴリズムパラメータに基づく精度について、理論的保証を確立すること。
• プライバシー（$\epsilon$）と精度のトレードオフを分析し、精度が$O(1/\epsilon^2)$に比例することを示すこと。

提案手法

• エージェントは、時間とともに減少する分散を持つラプラス分布から抽出されたノイズを含む局所状態の推定値を反復的にブロードキャストする。
• 各エージェントは、現在の通信グラフに基づいて、隣接エージェントのノイズ付きブロードキャストの重み付き平均を計算する。
• ステップサイズ$\gamma_t = cq^{t-1}$を用いて、自身のコスト関数の勾配に逆らって局所推定値を更新する。
• ノイズ分散$M_t$は$M_t = 2C_2\sqrt{n}\frac{cp}{\epsilon(p-q)}p^{t-1}$として減少し、プライバシーと収束を保証する。
• 感度に基づくアプローチを用いて$\epsilon$-微分プライバシーを保証し、個々のコスト関数の変化によって感度が有界であることを確認する。
• ノイズとステップサイズの指数的減少を用いて、期待二乗誤差$S(t) = \mathbb{E}\|\bar{x}(t) - x^*\|^2$の再帰的バウンディングにより収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 すべてのメッセージを観測する敵が個々のコスト関数を推測できないように、エージェントがグローバルコスト関数を共同で最小化する方法は何か？
• RQ2 微分プライバシーの水準（$\epsilon$）と最適解への収束精度のトレードオフはどのように変化するか？
• RQ3 分散環境においてプライバシーと収束を同時に満たすために、ノイズとステップサイズはどのように時間とともに調整すべきか？
• RQ4 完全に分散型でリーダーなしのアルゴリズムは、中央集権的な調整者やネットワークトポロジーの知識を必要とせずに、微分プライバシーと収束を両立させられるか？

主な発見

• 時間変動するスケールを持つラプラスノイズを用いて、メッセージの感度を慎重に制御することで、$\epsilon$-微分プライバシーを達成する。
• 有界な定義域と強い凸性の仮定の下で、最適解への収束が保証され、期待二乗誤差$\mathbb{E}\|\bar{x}(t) - x^*\|^2$が$\epsilon$に依存するバウンディングに収束する。
• アルゴリズムの精度は$O(1/\epsilon^2)$に比例し、プライバシーの強化（$\epsilon \to 0$）に伴い、精度が2乗的に低下することが示される。
• 限界期待誤差の上界には3つの項が含まれる：初期誤差の減衰（$2C_1 e^{-C_3c/(1-q)}$）、ステップサイズ由来誤差（$C_2^2 c^2 / (1 - q^2)$）、ノイズ由来誤差（$8C_2^2 n c^2 p^2 / (\epsilon^2 (p - q)^2 (1 - p^2))$）。
• 収束性とプライバシーを保証するため、ノイズ減少レート$p$とステップサイズ減少レート$q$は$1 > p > q$かつ$q < 1$を満たすように選択されるべきである。