[論文レビュー] Differentially Private Bipartite Consensus over Signed Networks with Time-Varying Noises

Jimin Wang, Jieming Ke+1 more|arXiv (Cornell University)|Dec 22, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、時間変動するノイズ分散を伴う符号付きマルチエージェントネットワークにおける、差分プライバシーを満たす二部グラフの協調アルゴリズムを提案する。収束性を損なわずにプライバシーを強化できる。確率的近似と適応的ステップサイズを活用することで、漸近的に不偏な平均二乗およびほとんど確実な協調が達成され、プライバシーのレベルを事前に定めたまま、時間経過に伴いプライバシー用ノイズが増加しても安定する。

ABSTRACT

This paper investigates the differentially private bipartite consensus algorithm over signed networks. The proposed algorithm protects each agent's sensitive information by adding noise with time-varying variances to the cooperative-competitive interactive information. In order to achieve privacy protection, the variance of the added noise is allowed to be increased, and substantially different from the existing works. In addition, the variance of the added noise can be either decaying or constant. By using time-varying step-sizes based on the stochastic approximation method, we show that the algorithm converges in mean-square and almost-surely even with an increasing privacy noise. We further develop a method to design the step-size and the noise parameter, affording the algorithm to achieve asymptotically unbiased bipartite consensus with the desired accuracy and the predefined differential privacy level. Moreover, we give the mean-square and almost-sure convergence rate of the algorithm, and the privacy level with different forms of the privacy noises. We also reveal the algorithm's trade-off between the convergence rate and the privacy level. Finally, a numerical example verifies the theoretical results and demonstrates the algorithm's superiority against existing methods.

研究の動機と目的

• 符号付きマルチエージェントネットワークにおける二部協調の過程で、個々のエージェントの機微な初期状態を保護する課題に対処すること。
• プライバシー用ノイズが時間とともに減少するという従来の制約を緩和し、時間変動的かつ増加するノイズ分散を許容すること。
• 漸近的に不偏な収束性と事前に定めた差分プライバシーのレベルを同時に保証する協調アルゴリズムを設計すること。
• 異なるノイズ設定下での収束速度とプライバシー水準のトレードオフを定量化すること。
• 望ましい精度とプライバシー水準を達成するためのステップサイズおよびノイズパラメータの体系的チューニング手法を提供すること。

提案手法

• プライバシー用ノイズの分散が時間とともに増加する時間変動型ノイズ機構を導入し、従来の研究で要求されるノイズの減少とは異なる。
• ステップサイズが $\alpha(k) = \frac{c}{(k+1)^\beta}$ の形をとる確率的近似に基づく手法を採用し、$\beta \in (0,1]$ として、ノイズが増加しても収束を保証する。
• 符号付きグラフトポロジを用いて協調的および競合的相互作用を統合する制御器を設計し、符号付きの一致（反対符号の一致）を実現する二部協調を可能にする。
• ステップサイズとノイズパラメータの条件を導出し、$\epsilon^\star$-差分プライバシーおよび $(s^\star, r^\star)$-精度の協調を達成する。
• 理論的分析を通じて、時間変動するノイズと適応的ステップサイズ下での平均二乗およびほとんど確実な収束を確立する。
• ノイズ増加率 $\gamma$ が $\epsilon$ と収束速度に与える影響を分析することで、速度とプライバシーのトレードオフを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 プライバシー用ノイズの分散が時間とともに増加する場合でも、差分プライバシー付きの二部協調が達成可能か？
• RQ2 プライバシー用ノイズが増加する条件下で、平均二乗およびほとんど確実な意味での収束を保証するための時間変動的ステップサイズはどのように設計可能か？
• RQ3 プライバシー用ノイズの増加率と得られる差分プライバシー水準 $\epsilon$ の関係は何か？
• RQ4 アルゴリズムの収束速度は、ノイズ分散プロファイルおよびステップサイズパラメータにどのように依存するか？
• RQ5 ノイズ分散が増加する状況下でも、漸近的に不偏な協調が達成可能であり、かつ事前に定めたプライバシー水準 $\epsilon^\star$ を維持できるか？

主な発見

• 提案されたアルゴリズムは、ノイズ分散が増加しても、平均二乗およびほとんど確実な意味で漸近的に不偏な二部協調を達成する。
• 収束は $\beta \in (0,1]$ および $\gamma < \beta - 1/2$ の条件下で保証され、ここで $\beta$ はステップサイズの減衰を制御し、$\gamma$ はノイズ分散の増加率を制御する。
• 適切にノイズパラメータをチューニングすることで、ノイズ分散が増加しても任意の $\epsilon^\star > 0$ に対して $\epsilon^\star$-差分プライバシーを確保する。
• ノイズ増加率 $\gamma$ の上昇は収束速度を遅くするが、プライバシーを強化する（$\epsilon$ を小さくする）ため、速度とプライバシーのトレードオフが確認された。
• 数値結果により、提案アルゴリズムがプライバシー（$y(k)$ がランダムのままである）を維持しながら収束することが確認され、[41] や [37] といった既存手法よりもプライバシー保護性能が優れている。
• 収束速度は平均二乗およびほとんど確実な意味で $O(1/k^{\beta})$ として定量され、$\beta \in (0,1]$ であり、ノイズ分散が増加するにつれてプライバシー水準 $\epsilon$ は低下する。