[論文レビュー] Local Differential Privacy for Evolving Data

Matthew Joseph, Aaron Roth+2 more|arXiv (Cornell University)|Feb 20, 2018

Privacy-Preserving Technologies in Data参考文献 12被引用数 24

ひとこと要約

本稿は、実際の分布変化の回数にのみ依存するプライバシー損失を保証することで、長期にわたり正確な集計統計の追跡を可能にする、新しいローカル微分プライバシー機構を提案する。この機構は、定期的なデータ収集の回数に依存しない。グループ固有のデータ分布と適応的レポート期間を活用することで、誤差が時間ではなく分布シフトに比例して増加するようになり、Apple や Google のシステムのような実世界の導入において、プライバシーと有用性のトレードオフを著しく改善する。

ABSTRACT

There are now several large scale deployments of differential privacy used to collect statistical information about users. However, these deployments periodically recollect the data and recompute the statistics using algorithms designed for a single use. As a result, these systems do not provide meaningful privacy guarantees over long time scales. Moreover, existing techniques to mitigate this effect do not apply in the "local model" of differential privacy that these systems use. In this paper, we introduce a new technique for local differential privacy that makes it possible to maintain up-to-date statistics over time, with privacy guarantees that degrade only in the number of changes in the underlying distribution rather than the number of collection periods. We use our technique for tracking a changing statistic in the setting where users are partitioned into an unknown collection of groups, and at every time period each user draws a single bit from a common (but changing) group-specific distribution. We also provide an application to frequency and heavy-hitter estimation.

研究の動機と目的

• ローカルモデルにおける繰り返しのデータ収集によって時間経過とともに急速に劣化するプライバシー保証の重大なギャップを解消すること。
• ユーザーがデバイス上でデータをランダム化し、信頼できないサーバーに送信するローカル微分プライバシーモデルにおいて、進化する集計統計の正確な長期追跡を可能にすること。
• 実際のデータ分布の変化回数に依存するように、プライバシー損失と誤差の増加を、報告期間の回数ではなく制御すること。
• 頻繁に統計を再計算するが、単純な再収集によってプライバシーが劣化する現実の産業用途（例：Apple、Google）に対する実用的解決策を提供すること。
• ユーザー行動パターンの変化（例：人気の絵文字や検索キーワードのシフト）を素早く検出可能でありながら、強いプライバシーを維持する技術を開発すること。

提案手法

• ユーザーが未知の数のサブグループに属しているとモデル化し、各グループは時間的に変化するグループ固有のベルヌーイ分布に従うデータを持つ。
• 二段階の報告メカニズムを導入：ユーザーはランダム化応答により摺り合わせ済みのビットベクトルを送信し、サーバーは変化が検出された場合にのみ更新されるグローバル推定値を維持する。
• 主なイノベーションは、任意のグループの分布に変化が検出された場合にのみアクティブ化されるグローバル更新トリガーの使用であり、不要な再計算を最小限に抑える。
• 濃度不等式とプライバシー予算会計を用いて、各ユーザーの寄与が複数のエポックにわたりても定義されたプライバシー予算内に収まるように保証する。
• サブグループレベルの推定値を集約し、連続する推定値の差に統計的検定を適用することで、変化を検出する階層的推定戦略を採用する。
• プライバシー、正確性、ユーザー行動の実際の変化への対応速度のバランスを取るために、報告頻度（エポック長）を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 繰り返しのデータ収集が行われるにもかかわらず、長期間にわたり強いプライバシー保証を維持できるローカル微分プライバシー機構を設計できるか？
• RQ2 元のデータ分布がごくまれにしか変化しない場合でも、ローカルモデルで進化する統計を正確に追跡することが可能か？
• RQ3 プライバシー損失を報告期間の回数ではなく、実際の分布変化の回数に依存させることは可能か？
• RQ4 ユーザー個別のプライバシーを保ちつつ、誤差増加を最小限に抑え、効率的に分布シフトを検出する方法は何か？
• RQ5 ユーザーのグループ化とデータの進化に関する現実的な仮定の下で、このようなシステムの理論的正確性の上限は何か？

主な発見

• 全プライバシー損失は、実際の分布変化の回数にのみ増加し、報告期間の回数には依存しないため、時間に非線形に増加するプライバシー保証が達成される。
• 高い確率で、真の分布推定の誤差は $ 4(\text{log}(T)+2)√{\frac{2\ln(320n^{2}T/\delta)}{\ell}} + \sqrt{\frac{\ln(16ndT/\delta)}{n}} $ で有界であり、ここで $ \ell $ はエポックごとの報告数である。
• アルゴリズムは、投票や推定のためのプライバシー予算を超えるユーザーが存在しないことを保証し、すべての更新においてローカル微分プライバシーが維持される。
• グローバル更新メカニズムは、連続する2つの分布変化の間でたかだか1回のエポック内にのみ発動するため、過剰な計算を避けつつも迅速な反応性を確保する。
• 実際の変化の回数が少ない場合、正確性の上限が著しく向上し、絵文字の人気や検索トレンドのようなゆっくりと進化する統計に非常に効果的である。
• 理論的分析により、ユーザー行動の変化がまれで、適切なサイズのエポックでデータ収集が行われる場合には、本手法が望ましいプライバシー-正確性トレードオフを達成することが確認された。