[論文レビュー] Differentially Private Perturbed Push-Sum Protocol and Its Application in Non-Convex Optimization

Yiming Zhou, Kaiping Xue+1 more|arXiv (Cornell University)|Feb 12, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

DPPSを提案する。これは分散ネットワーク向けのPerturbed Push-Sumのプロトコルレベル差分プライバシー拡張で、PartPSPは部分通信を用いてプライバシー–有用性のトレードオフを改善する、プライバシー保護付きの分散非凸最適化アルゴリズムです。

ABSTRACT

In decentralized networks, nodes cannot ensure that their shared information will be securely preserved by their neighbors, making privacy vulnerable to inference by curious nodes. Adding calibrated random noise before communication to satisfy differential privacy offers a proven defense; however, most existing methods are tailored to specific downstream tasks and lack a general, protocol-level privacy-preserving solution. To bridge this gap, we propose Differentially Private Perturbed Push-Sum (DPPS), a lightweight differential privacy protocol for decentralized communication. Since protocol-level differential privacy introduces the unique challenge of obtaining the sensitivity for each communication round, DPPS introduces a novel sensitivity estimation mechanism that requires each node to compute and broadcast only one scalar per round, enabling rigorous differential privacy guarantees. This design allows DPPS to serve as a plug-and-play, low-cost privacy-preserving solution for downstream applications built on it. To provide a concrete instantiation of DPPS and better balance the privacy-utility trade-off, we design PartPSP, a privacy-preserving decentralized algorithm for non-convex optimization that integrates a partial communication mechanism. By partitioning model parameters into local and shared components and applying DPPS only to the shared parameters, PartPSP reduces the dimensionality of consensus data, thereby lowering the magnitude of injected noise and improving optimization performance. We theoretically prove that PartPSP converges under non-convex objectives and, with partial communication, achieves better optimization performance under the same privacy budget. Experimental results validate the effectiveness of DPPS's privacy-preserving and demonstrate that PartPSP outperforms existing privacy-preserving decentralized optimization algorithms.

研究の動機と目的

• Honest-but-curiousノードに対する防御として、分散Perturbed Push-Sumにおけるプロトコルレベルのプライバシーを動機づけ、実現する。
• 分散ネットワークに適した軽量な周回ごとの感度推定法を開発する。
• 周回ごとの感度を用いて実用的な非凸最適化アルゴリズム（PartPSP）をDPPSとして具体化し、部分通信でプライバシーノイズを低減する。
• 非凸目的関数の下でPartPSPの収束保証を提供しつつプライバシーを維持する。
• 実世界のディープラーニングタスクで、プライバシー保証と最適化性能を実験により検証する。

提案手法

• DPPSを導入する：Perturbed Push-Sumプロトコルに対して周回ごとの感度S(t)に基づくラプラスノイズを適用する差分プライバシー機構。
• 各ノードの局所感度S_i(t)を計算し、S(t)=max_i S_i(t)に集約してε-differential privacyを満たす。
• 1ラウンドあたりO(d_s)で計算可能な軽量な反復感度推定器を提供し、ノードごとに1つのスカラー放送を行う。
• PartPSPを提案する：モデルパラメータを局所的な成分と共有成分に分割し、共有パラメータに対してのみDPPSを適用してノイズを削減する分散SGDの変種。
• PartPSPでは、部分通信機構を適用してプライバシーと有用性のバランスを取り、共有パラメータの次元とノイズを削減しつつ、非凸目的の下での収束性を証明する。
• 共有勾配ノルムに対してクリッピングを適用して感度を制限し、共有パラメータのプライベートコンセンサスにDPPSを適用する。

実験結果

リサーチクエスチョン

• RQ1 プロトコルレベルの差分プライバシー機構を、分散ネットワークで実用的な感度推定と組み合わせてPerturbed Push-Sumプロトコルに組み込むことは可能か？
• RQ2 固定プライバシー予算の下で、部分通信（局所パラメータと共有パラメータ）によって分散非凸最適化のプライバシー–有用性トレードオフは改善されるか？
• RQ3 DPPSベースのプライベートコンセンサスを使用した場合、非凸目的関数の収束保証はどうなるか？
• RQ4 DPPSを用いた分散最適化において、深層学習タスクで既存のプライバシー保護付き分散最適化法と比較して実証的にどのような性能を示すか？

主な発見

• DPPSは周回ごとの感度推定に基づくラプラスノイズによって差分プライバシーを実現し、1つのスカラー放送のみで済む軽量な感度推定を提供する。
• ノード間の最大周回感度がDPPSのプライバシー保証を実現し、オーバーヘッドはごく僅かである。
• PartPSPは、共有パラメータの次元を低減し部分通信によるノイズ低減を達成することで、同じプライバシー予算の下でより良い最適化性能を示す。
• PartPSPは、非凸目的に対してDPPSを分散最適化に適用した場合の収束保証を提供する。
• 実証結果はDPPSのプライバシー保証を検証し、PartPSPが深層学習タスクで従来のプライバシー保護付き分散最適化アルゴリズムより優れていることを示す。