[論文レビュー] Privately detecting changes in unknown distributions

Rachel Cummings, Sara Krehbiel+2 more|arXiv (Cornell University)|Oct 3, 2019

Advanced Statistical Process Monitoring参考文献 33被引用数 5

ひとこと要約

本稿では、事前および事後変化分布が未知であるデータストリームにおける非パラメトリックな変化点検出のための微分プライバシー化アルゴリズムを提示する。マン・ホイットニー順位ベースの検定統計量を用い、感度を制御することで、線形トレンドにおける変化を検出するプライベートなオフラインおよびオンラインアルゴリズム（PNCPD および OnlinePNCPD）を設計した。滑らかな分布シフトの下でも、強いプライバシー性と実験的精度を達成している。

ABSTRACT

The change-point detection problem seeks to identify distributional changes in streams of data. Increasingly, tools for change-point detection are applied in settings where data may be highly sensitive and formal privacy guarantees are required, such as identifying disease outbreaks based on hospital records, or IoT devices detecting activity within a home. Differential privacy has emerged as a powerful technique for enabling data analysis while preventing information leakage about individuals. Much of the prior work on change-point detection---including the only private algorithms for this problem---requires complete knowledge of the pre-change and post-change distributions. However, this assumption is not realistic for many practical applications of interest. This work develops differentially private algorithms for solving the change-point problem when the data distributions are unknown. Additionally, the data may be sampled from distributions that change smoothly over time, rather than fixed pre-change and post-change distributions. We apply our algorithms to detect changes in the linear trends of such data streams. Finally, we also provide experimental results to empirically validate the performance of our algorithms.

研究の動機と目的

• 感度データを含む実世界の応用において一般的な、事前および事後変化分布が未知である状況におけるプライベートな変化点検出のギャップを埋める。
• 事後分布に関するパラメトリックな仮定を必要としない微分プライバシー化アルゴリズムの開発。これにより、より広範な実用的適用性が得られる。
• 急激なシフトではなく、滑らかで時間的に変化する分布的シフトを伴う状況へのプライベートな変化点検出の拡張。
• 線形ドリフトに i.i.d. ノイズを含む、現実的なデータ生成モデルに基づく、プライベート検出アルゴリズムの性能を実証的に検証。

提案手法

• マン・ホイットニー U 検定統計量を、変化点の前後を比較する非パラメトリックで順位ベースの検定として用い、微分プライバシーに適した低い感度を実現。
• マン・ホイットニー統計量の感度に合わせてノイズを追加することで微分プライバシーを適用。この感度はサイズ n のデータセットに対して O(1/n) である。
• すべての候補となる変化点に対して検定統計量を評価し、最大のプライベートスコアを持つ点を選択するオフラインアルゴリズム（PNCPD）を設計。
• スライディングウインドウとしきい値を用いて、リアルタイムで変化を検出しながらプライバシーを維持するオンラインアルゴリズム（OnlinePNCPD）を開発。
• 線形ドリフトを検出できるように、データストリームを変換することで、非 i.i.d. なデータに順位ベースの検定を適用可能にする。
• 合成データを用いたモンテカルロシミュレーションにより、さまざまなプライバシーパラメータ（ε）における誤検出率と推定精度を評価。

実験結果

リサーチクエスチョン

• RQ1 事前および事後変化分布が完全に未知である状況でも、微分プライバシー化された変化点検出が可能か？
• RQ2 パラメトリックな仮定なしに、低感度で非パラメトリックな統計を活用して、プライベートな変化点検出器を設計する方法は？
• RQ3 急激なシフトではなく、滑らかで時間的に変化する分布的変化を伴うデータストリームに対しても、プライベートな変化点検出を拡張可能か？
• RQ4 未知の分布下でのプライベートな変化点検出において、プライバシー（ε）と検出精度の間の実証的トレードオフは何か？

主な発見

• ε = 5 および ε = 10 の場合、PNCPD アルゴリズムは真の変化点からの誤差が 0.4 以内に収まり、変化点を含むウィンドウを正しく特定できた場合には誤差が著しく減少する。
• ε = 1 の場合、全体の誤差率は 0.4 未満に保たれるが、主な誤差原因は正しいウィンドウの特定に失敗することであり、正しいウィンドウ内での推定誤差は小さい。
• ε = 5 および ε = 10 の場合、OnlinePNCPD アルゴリズムは誤検出率を 0.1 未満に制御でき、理論的境界が空の範囲を示唆するにもかかわらず、しきい値 T = 0.8 が実証的に有効である。
• マン・ホイットニー検定統計量は低感度（O(1/n)）を示し、非パラメトリックな状況における微分プライバシーに非常に適している。
• シミュレーションにより、提案されたアルゴリズムは、分布が未知であっても、ノイズを含む線形ドリフトモデルにおける変化検出を、強いプライバシー保証とともに維持していることが示された。
• しきい値に関する理論的境界はあまりに保守的である。実証的結果から、推定されたパラメータを用いて実用的なしきい値を効果的に設定できることが示された。