[論文レビュー] Privacy Amplification by Decentralization

Edwige Cyffers, Aurélien Bellet|arXiv (Cornell University)|Dec 9, 2020

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、中央集権的な調整者が存在しない完全に分散型のシステムにおいて自然に生じる、ローカル差分プライバシー（LDP）の緩和版であるネットワーク差分プライバシー（ネットワークDP）を導入する。ユーザーがネットワークグラフを通じて通信する分散型システムにおいて、計算をネットワーク上でランダムウォークを実行するトークンとしてモデル化することで、合計計算、ヒストグラム計算、確率的勾配降下法のためのアルゴリズムを設計した。これらのアルゴリズムは、LDPよりも顕著に優れたプライバシー・ユーティリティのトレードオフを達成し、信頼できるキュレーターモデルに匹敵する性能を示しており、完全な分散型アーキテクチャ自体がプライバシーを強化できることを形式的に示している。

ABSTRACT

Analyzing data owned by several parties while achieving a good trade-off between utility and privacy is a key challenge in federated learning and analytics. In this work, we introduce a novel relaxation of local differential privacy (LDP) that naturally arises in fully decentralized algorithms, i.e., when participants exchange information by communicating along the edges of a network graph without central coordinator. This relaxation, that we call network DP, captures the fact that users have only a local view of the system. To show the relevance of network DP, we study a decentralized model of computation where a token performs a walk on the network graph and is updated sequentially by the party who receives it. For tasks such as real summation, histogram computation and optimization with gradient descent, we propose simple algorithms on ring and complete topologies. We prove that the privacy-utility trade-offs of our algorithms under network DP significantly improve upon what is achievable under LDP, and often match the utility of the trusted curator model. Our results show for the first time that formal privacy gains can be obtained from full decentralization. We also provide experiments to illustrate the improved utility of our approach for decentralized training with stochastic gradient descent.

研究の動機と目的

• 中央集権的な調整者が存在しない完全に分散型のフェデレーテッドラーニングおよび分析において、強力なプライバシー・ユーティリティのトレードオフを達成する課題に対処すること。
• 分散型ネットワークにおけるユーザーのローカル視点を捉える新しいプライバシーモデル—ネットワーク差分プライバシー—を形式化すること。
• 標準的なローカル差分プライバシーでは達成できない範囲でのプライバシーの強化を、ネットワーク構造を活用して実現する実用的な分散型アルゴリズムを設計すること。
• 分散型アーキテクチャ自体が、信頼できるキュレーターも暗号的集約も存在しない状況でも、形式的なプライバシーの恩恵をもたらすことを、理論的および実験的に検証すること。

提案手法

• ローカル差分プライバシー（LDP）の緩和版として、ネットワーク差分プライバシー（ネットワークDP）を提案。各ユーザーのネットワークと隣接ノードとの相互作用に基づくプライバシーをモデル化する。
• 計算を、ネットワークグラフ上でランダムウォークを実行するトークンとしてモデル化。各ノードは、トークンを受け取った後に局所的に更新し、次に渡す。
• リングおよび完全グラフのトポロジーにおいて、実数の合計計算、ヒストограм計算、確率的勾配降下法のための単純で効率的なアルゴリズムを設計。
• ランダムウォークによるプライバシーの強化を活用し、貢献の元のノードが時間経過とともに特定されにくくなるように、有効なプライバシー損失を低減。
• ユーザー自身の貢献に隣接する「スポット貢献」（スポートコントリビューション）に起因するプライバシー損失を、チェルノフ不等式および合成定理を用いて評価。
• 実験的に、エッジの使用回数に上限を設ける、または閾値を超えた場合に実際の貢献をノイズに置き換えることで、既知の送信者／受信者ペairに起因するプライバシー漏洩を制御。

(a) Theoretical bounds

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける完全な分散型アーキテクチャが、ローカル差分プライバシー（LDP）の枠組みを超えて、形式的なプライバシーの向上を達成できるか？
• RQ2 リングや完全グラフなどの分散型ネットワークの構造が、分散計算におけるプライバシー・ユーティリティのトレードオフにどのように影響を与えるか？
• RQ3 中央集権的な調整者が存在しない状況で、ネットワークグラフ上のランダムウォークによってどれほどプライバシーの強化を達成できるか？
• RQ4 ユーザー自身の貢献に直接続くか、直後に続く「スポット貢献」が、分散型システム全体のプライバシー損失に与える影響はどの程度か？
• RQ5 暗号的集約なしに、ネットワークDPに基づく分散型アルゴリズムが、信頼できるキュレーターモデルに近いユーティリティを達成できるか？

主な発見

• ネットワークDPに基づく提案されたアルゴリズムは、特に高次元または大規模な設定において、標準的なローカル差分プライバシー（LDP）を著しく上回るプライバシー・ユーティリティのトレードオフを達成する。
• 実数の合計計算やヒストограм計算といったタスクにおいて、ネットワークDPによるプライバシーの強化は、多くの状況で信頼できるキュレーターモデルの性能に匹敵する。
• 貢献総数TがΩ(n²)の範囲にある場合、「スポット貢献」に起因するプライバシー損失は無視できるほど小さくなり、理論的境界と同等のオーダーのプライバシー強化が回復される。
• 実験により、離散的ヒストограм計算および分散型確率的勾配降下法において、ネットワークDPが顕著なプライバシー・ユーティリティの向上をもたらすことが確認された。
• スポット貢献に起因するプライバシー損失は、チェルノフ不等式および合成定理を用いて評価可能であり、ユーザーあたりの貢献数がネットワークサイズに対して十分に大きい場合には無視できる。
• 実用的な緩和戦略（エッジの使用制限、実貢献をノイズに置き換え）を用いることで、収束性やユーティリティに著しい悪影響を与えることなく、プライバシー漏洩を制御可能である。

(b) Empirical