[論文レビュー] Hiding in the Crowd: A Massively Distributed Algorithm for Private Averaging with Malicious Adversaries

Pierre Dellenbach, Aurélien Bellet+1 more|arXiv (Cornell University)|Mar 27, 2018

Privacy-Preserving Technologies in Data参考文献 5被引用数 5

ひとこと要約

この論文では、数百万人のユーザー間でプライベートな平均値を計算する分散型で大規模に分散されたアルゴリズム、Gopaを提案する。各ユーザーは自身のプライベートな値を漏らさずに貢献する。ランダム化されたゴッサブプロトコルとノイズマスキング、検証メカニズムを組み合わせることで、誠実だが好奇心の強い敵対者および悪意ある敵対者に対してプライバシーを確保し、ネットワークサイズが大きくなるほどプライバシーの強度が向上し、大規模な不正行為に対しても耐性を示す。

ABSTRACT

The amount of personal data collected in our everyday interactions with connected devices offers great opportunities for innovative services fueled by machine learning, as well as raises serious concerns for the privacy of individuals. In this paper, we propose a massively distributed protocol for a large set of users to privately compute averages over their joint data, which can then be used to learn predictive models. Our protocol can find a solution of arbitrary accuracy, does not rely on a third party and preserves the privacy of users throughout the execution in both the honest-but-curious and malicious adversary models. Specifically, we prove that the information observed by the adversary (the set of maliciours users) does not significantly reduce the uncertainty in its prediction of private values compared to its prior belief. The level of privacy protection depends on a quantity related to the Laplacian matrix of the network graph and generally improves with the size of the graph. Furthermore, we design a verification procedure which offers protection against malicious users joining the service with the goal of manipulating the outcome of the algorithm.

研究の動機と目的

• 第三者を介さない分散型環境において、数百万人のユーザー間で平均値をプライベートに計算する課題に対処すること。
• 誠実だが好奇心の強い敵対者および悪意ある敵対者両方のモデルにおいて、高いプライバシー保証を提供すること。特に、多数のユーザーが改ざんされている場合でも有効であること。
• 信頼できる第三者や同型暗号化に依存せずに、精度が任意の精度に収束し、スケーラブルであることを保証すること。
• 平均値の改ざんを試みる悪意あるユーザーを検出できる検証メカニズムを設計し、エンドツーエンドのプライバシーを維持すること。
• ネットワークサイズとグラフ構造に応じてプライバシーが向上し、ユーザーが「群衆の中に紛れる」ことのできる仕組みを実現すること。

提案手法

• ユーザーが接続されたグラフとして表現されるP2Pネットワーク上で非同期に値を交換するランダム化ゴッサブプロトコルを用いて、分散型平均化を実現する。
• 2段階プロトコルを導入する。まず、ユーザーは隣接ユーザーとノイズ項を交換することで、プライベートな値をマスキングし、すべての値の合計が変化しないようにする。
• ベイズ的プライバシー解析を適用し、敵対者のプライベート値に関する事後分散の低下を定量化する。その結果、事前分散に比べてほとんど変化しないことが示され、両モデルにおいて強いプライバシーが保証されることを裏付ける。
• プライバシーをネットワークグラフのラプラシアン行列と関連付ける。グラフの平滑化性がプライバシーを強化し、特に大規模なランダムkアウトグラフにおいて顕著であることを示す。
• 検証手順を実装する。ユーザーはノイズ値の一部（1−β）を平文で公開することで、不正行為の検出確率を高める。
• 公開されたノイズ値によるプライバシー損失を補償するため、ネットワークの平均次数を増加させることで、強いプライバシー保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 第三者を介さない分散型プロトコルが、任意の精度に収束する平均値計算を実現しつつ、すべての誠実なユーザーのプライバシーを強力に保証できるか？
• RQ2 通信ネットワークの構造（例：グラフトポロジー）が、悪意あるユーザーが存在する状況でのプライバシー水準にどのように影響するか？
• RQ3 ゴッサブプロセスにおけるノイズの追加が、収束速度と精度に及ぼす影響はどの程度か？
• RQ4 誠実なユーザーのプライバシーを損なうことなく、平均値を改ざんしようとする悪意あるユーザーを検証メカニズムで検出できるか？
• RQ5 ユーザー数が増えるに従い、プライバシー保証が向上するのか。特に、多数のユーザーが悪意ある場合でも同様に有効か？

主な発見

• 敵対者のプライベート値に関する事後分散は、事前分散に比べてほとんど減少しないため、誠実だが好奇心の強い敵対者および悪意ある敵対者両方のモデルにおいて強いプライバシーが保証されることを示す。
• ネットワークサイズとグラフの平滑化性に応じてプライバシーが向上し、ラプラシアン行列を用いて定量的に示される。これにより、ユーザーは「群衆の中に紛れる」ことが可能になる。
• 目標誤差レベルに到達するための反復回数は、ノイズ分散に対して対数的に増加するため、収束速度への影響は軽微である。
• 固定されたkのランダムkアウトグラフにおいて、ユーザー数（n）を増加させると、50％のユーザーが悪意を持っている場合でも、プライバシーが顕著に向上する。
• 検証手順により、不正行為の検出確率は少なくとも1−β²ᶜ以上となる。ここでCは不正インスタンスの数である。これにより、大規模な改ざんはほとんど不可能になる。
• ノイズ値の一部を平文で公開してもプライバシーへの影響はわずかであり、ネットワークの平均次数を増加させることで補償可能である。