[論文レビュー] Differentially Private Distributed Computation via Public-Private Communication Networks

Lei Wang, Yang Liu+2 more|arXiv (Cornell University)|Jan 5, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 4

ひとこと要約

本稿では、スパースなプライベートネットワーク上で、合計の一貫性を保ちながらノイズを注入する、多ノードギャッジング型のプライバシー保護/合計一貫性（PPSC）メカニズムを用いて、微分プライバシー分散計算のためのパブリック・プライベート通信ネットワークフレームワークを提案する。適応的ノイズと計算ステップの制御により、任意の所望の微分プライバシー水準を任意の確率で達成し、平均コンSENSUS、線形方程式、凸最適化の精度を保証する。

ABSTRACT

This paper studies the problem of multi-agent computation under the differential privacy requirement of the agents' local datasets against eavesdroppers having node-to-node communications. We first propose for the network equipped with public-private networks. The private network is sparse and not even necessarily connected, over which communications are encrypted and secure along with the intermediate node states; the public network is connected and may be dense, over which communications are allowed to be public. In this setting, we propose a multi-gossip PPSC mechanism over the private network, where at each step, randomly selected node pairs update their states in such a way that they are shuffled with random noise while maintaining summation consistency. We show that this mechanism can achieve any desired differential privacy level with any prescribed probability. Next, we embed this mechanism in distributed computing processes, and propose privacy-guarantee protocols for three basic computation tasks, where an adaptive mechanism adjusts the amount of noise injected in PPSC steps for privacy protection, and the number of regular computation steps for accuracy guarantee. For average consensus, we develop a PPSC-Gossip averaging consensus algorithm by utilizing the multi-gossip PPSC mechanism for privacy encryption before an averaging consensus algorithm over the public network for local computations. For network linear equations and distributed convex optimization, we develop two respective distributed computing protocols by following the PPSC-Gossip averaging consensus algorithm with an additional projection or gradient descent step within each step of computation. Given any privacy and accuracy requirements, it is shown that all three proposed protocols can compute their corresponding problems with the desired computation accuracy, while achieving the desired differential privacy.

研究の動機と目的

• 盗聴攻撃の脅威下において、感覚的なローカルデータセットを保護する課題に対処すること。
• 分散システムにおける計算の正確性、収束効率、微分プライバシーの間のトレードオフを解消すること。
• 基本的な分散計算タスクに対して、強力なプライバシー保証と高い正確性を両立するプロトコルを設計すること。
• 適応的ノイズ注入と計算スケジューリングを通じて、任意のプライバシー予算と正確性レベルを実現すること。

提案手法

• パブリック・プライベート通信ネットワークを導入：パブリックネットワークは密度が高く接続されており、パブリック通信に使用される。プライベートネットワークはスパースであり、接続されていない可能性があるが、安全で暗号化された通信に使用される。
• ノード状態にランダムノイズを注入しながらも、ネットワーク全体の状態合計を保持する多ノードギャッジング型PPSCメカニズムを開発する。
• 所定の確率で任意の所望の微分プライバシー水準を達成するために、PPSCステップにおける適応的ノイズスケーリングを用いる。
• 平均コンセンサス、ネットワーク線形方程式、分散凸最適化のための分散アルゴリズムにPPSCメカニズムを統合する。
• 最適化および方程式解法タスクの正確性を維持するために、PPSC更新の後に投影または勾配降下ステップを統合する。
• 確率的解析を用いて、すべてのノードが十分に頻繁に更新されることを保証し、盗聴下でも強力な微分プライバシーを達成する。

実験結果

リサーチクエスチョン

• RQ1 盗聴攻撃下において、分散システムが高い計算正確性と強力な微分プライバシーの両方を達成できるか？
• RQ2 複数エージェントシステムにおける微分プライバシーを確保しつつ、合計の一貫性を保つように、ノイズ注入をどのように設計できるか？
• RQ3 適応的ノイズスケジューリングによって、分散計算におけるプライバシーと正確性のトレードオフを解消できるか？
• RQ4 収束性と正確性への影響を最小限に抑えつつ、証明可能なプライバシーを実現できるネットワークアーキテクチャは何か？
• RQ5 既存の分散アルゴリズム（コンセンサス、線形システム、最適化）を、パブリック・プライベート通信モデルを介して微分プライバシーをサポートするように拡張できるか？

主な発見

• PPSCメカニズムは、十分なノイズを注入し、十分な再帰的更新を確保することで、任意の所望の微分プライバシー水準を任意の確率で達成する。
• メカニズムはネットワーク全体で合計の一貫性を維持するため、ノイズ注入があっても正確な計算が可能である。
• PPSCギャッジング平均コンセンサスアルゴリズムは、プライベートネットワークでのノイズ保護付き状態更新の後、パブリックネットワーク上で正確な平均計算を達成する。
• 提案されたネットワーク線形方程式および分散凸最適化プロトコルは、適応的ノイズ制御と反復的精錬により、所望の正確性と微分プライバシーを両立する。
• 数値結果から、同じプライバシー予算下でも、従来手法に比べて分類タスクにおける学習正確性が向上していることが示された。
• 理論的解析により、プロトコルがユーザー定義パrameterで微分プライバシーを満たしており、十分な計算ステップ数があれば誤差境界を任意に小さくできることが確認された。