[論文レビュー] Differentially Private Change-Point Detection

Rachel Cummings, Sara Krehbiel+3 more|arXiv (Cornell University)|Aug 29, 2018

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿では、ReportMaxおよびAboveThreshメカニズムを用いて$\epsilon$-微分プライバシーを保証する、オフラインおよびオンラインの両方の変化点検出のための初めての微分プライベートなアルゴリズムを提示する。プライバシー制約下での最尤推定量の有限標本精度保証を提供し、プライバシー費用を$D_{KL}(P_0||P_1)/\epsilon$として定量化する。実験的検証により、さまざまなプライバシー水準下での変化点検出において優れた性能を示している。

ABSTRACT

The change-point detection problem seeks to identify distributional changes at an unknown change-point k* in a stream of data. This problem appears in many important practical settings involving personal data, including biosurveillance, fault detection, finance, signal detection, and security systems. The field of differential privacy offers data analysis tools that provide powerful worst-case privacy guarantees. We study the statistical problem of change-point detection through the lens of differential privacy. We give private algorithms for both online and offline change-point detection, analyze these algorithms theoretically, and provide empirical validation of our results.

研究の動機と目的

• バイオ監視やIoTなどのアプリケーションにおける感受性の高いデータストリームにおける微分プライベートな変化点検出のギャップを埋める。
• 変化点の非プライベートな最尤推定量（MLE）の最初の有限標本精度バウンドを提供する。
• プライバシーを保証しつつ統計的精度を維持するプライベートなアルゴリズムの設計と分析を行う。
• スライディングウィンドウを用いたAboveThreshメカニズムを活用して、オフラインのプライベート検出をオンライン設定に拡張する。
• プライバシーパラメータ$\epsilon$と分布的仮定の変化に対するプライベートな変化点検出の性能を実験的に検証する。

提案手法

• オフライン設定において、部分尤度関数のクエリの感度に比例するラプラスノイズを追加することで、ReportMaxメカニズムを用いて変化点のMLEをプライベートに推定する。
• オンライン設定では、繰り返しノイズ付き統計量をクエリすることで、しきい値を上回るまでに変化点を含むサイズ$n$のウィンドウを検出するため、AboveThreshメカニズムを適用する。
• スライディングウィンドウ上で効率的に検定統計量を計算するため、CUSUM統計量の再帰的計算$W_i = \max(W_{i-1}, 0) + \log(P_1(x_i)/P_0(x_i))$を採用する。
• 誤検出率を制御するため、変更前および変更後分布下でのノイズ付きCUSUM統計量の経験的分位数を用いて、検出しきい値$T$を設定する。
• 誤検出率および検出精度を推定するために、$10^6$回のモンテカルロシミュレーションを実施し、信頼性のある検出が可能となるよう、非空の範囲を保証するようにしきい値選択を制約する。
• 感度に基づくノイズ注入を$\Delta/\epsilon$スケーリングで実施し、$\epsilon$-微分プライバシーを達成する。ここで$\Delta$は尤度統計量の感度を表す。

実験結果

リサーチクエスチョン

• RQ1 非プライベートなMLEの有限標本精度は何か？ また、プライベート推定量と比較してどうなるか？
• RQ2 ReportMaxメカニズムをどのように変更することで、オフラインデータストリームにおける変化点のプライベート推定が可能になるか？
• RQ3 事前に変化点の位置を知らない状況でも、AboveThreshメカニズムを用いてオンライン設定でのプライベートな変化点検出を可能にすることができるか？
• RQ4 オフラインおよびオンライン設定において、プライバシー（$\epsilon$）と検出精度のトレードオフは何か？
• RQ5 ウィンドウサイズおよび分布的仮定は、オンラインプライベートな変化点検出におけるしきい値選択と検出性能にどのように影響するか？

主な発見

• 本稿は、有界な感度下ではデータベースサイズ$n$に依存しないという前提で、変化点の非プライベートMLEの最初の有限標本精度保証を提供する。
• ReportMaxを用いたプライベートなオフライン検出は、$\epsilon$-微分プライバシーを達成し、精度が$D_{KL}(P_0||P_1)/\epsilon$で上限付けられることを示し、プライバシーのコストを定量化する。
• $n=700$および$k^*=5000$のオンラインシミュレーションにおいて、ベルヌーイモデルでは$\epsilon=\infty$および$\epsilon=1$の下で誤検出率が0.10未満となり、$T=220$を達成した。
• ガウスモデルでは、より大きなウィンドウサイズが必要である。$n=700$の場合、$\epsilon=0.5,1$では誤検出制約を緩和する必要があり、それぞれ$T=180,150,100$を用いた。
• オンライン設定における条件付き検出精度は、オフライン精度と同等であり、主な課題は推定精度ではなくアラームの発動にあることが示唆された。
• 実験的結果から、AboveThreshによって正しいウィンドウが特定されれば、オフライン推定アルゴリズムが正確に変化点を特定できることを確認した。これにより、モジュラー設計の有効性が裏付けられた。