[論文レビュー] Differentially Private Confidence Intervals

Wenxin Du, Canyon Foot+3 more|arXiv (Cornell University)|Jan 7, 2020

Privacy-Preserving Technologies in Data参考文献 15被引用数 27

ひとこと要約

本稿では、指数的メカニズムとラプラスノイズを用いた分位数推定により、正規分布データの平均に対する差分プライバシーを満たす信頼区間を計算する5つの異なるアルゴリズムを提案する。実験の結果、最も優れたアルゴリズムであるSYMQは、先行研究と比較して区間幅を最大96%まで短縮でき、ε=0.1という強いプライバシー保証のもとで、ほぼ公開データに相当する精度を達成した。

ABSTRACT

Confidence intervals for the population mean of normally distributed data are some of the most standard statistical outputs one might want from a database. In this work we give practical differentially private algorithms for this task. We provide five algorithms and then compare them to each other and to prior work. We give concrete, experimental analysis of their accuracy and find that our algorithms provide much more accurate confidence intervals than prior work. For example, in one setting (with ε = 0.1 and n = 2782) our algorithm yields an interval that is only 1/15th the size of the standard set by prior work.

研究の動機と目的

• 正規分布データの母平均に対する実用的で差分プライバシーを満たす信頼区間を設計するという未解決の問題に取り組む。
• 既存の理論的アプローチでは実用的でないが、実用性を高めた私的信頼区間の精度を向上させる。
• データの分布的性質（例：正規性）を仮定することで、プライバシー保証を損なわずにユーティリティを向上させられるかを検証する。
• 先行研究を上回る区間幅とカバレッジ精度を達成する新しいアルゴリズムを開発し、実験的に検証する。
• 提案されたアルゴリズムの公開可能で生産環境向けの実装を提供する。

提案手法

• 中央値をロバストな平均推定器として用いるために、指数的メカニズムに基づくアルゴリズム（EXPQ）を用いて分位数（特に中央値）を私的に推定する。
• 対称的分位数推定（SYMQ）を用いて、[x_min, x_max] のデータ範囲の選択に敏感でない信頼区間を構築する。
• 感度とプライバシーパラメータに基づいてキャリブレーションされたノイズを用い、標本平均および標本分散にラプラスノイズを適用して私的推定を行う。
• 私的分位数推定と私的分散推定を組み合わせることで、(ε,0)-差分プライバシーのもとで正確な信頼区間を計算する。
• 複数のαレベルとプライバシー予算に対して、シミュレーションを用いた検証によりカバレッジ確率を検証する。
• すべてのアルゴリズムを https://github.com/wxindu/dp-conf-int にて実装・オープンソース化し、再現性と実用的利用を確保する。

実験結果

リサーチクエスチョン

• RQ1 正規分布データの平均に対する差分プライバシー信頼区間を、先行の理論的アプローチと比較して顕著に精度を向上させることができるか？
• RQ2 私的アルゴリズムにおいて分布的仮定（例：正規性）を活用することで、プライバシー保証を弱めることなく実用的利便性に明確な向上が得られるか？
• RQ3 分位数ベースの私的推定器は、平均および分散の標準ラプラスメカニズムベースの推定器と比較して、区間幅とカバレッジの両面で優れているか？
• RQ4 私的信頼区間アルゴリズムの性能は、[x_min, x_max] の範囲を保守的に選択した場合にも、どれほど頑健であるか？
• RQ5 強いプライバシー制約のもとで、私的信頼区間を実世界の統計的分析に十分に実用的かつ正確にできるか？

主な発見

• 提案されたSYMQアルゴリズムは、ε=0.1、n=2782 の条件下で、先行研究が生成する標準的な区間と比較して、区間幅が1/15にまで短縮された。
• ε=0.1の条件下で、最良のアルゴリズムは公開区間幅の2.43倍の幅を示したが、先行研究は37.10倍も広かった。これは、プライバシーのコストを96%削減したことになる。
• データが正規分布に従う場合、EXPQ分位数推定アルゴリズムは、ラプラスベースの手法よりも平均および標準偏差の推定がより正確であった。
• SYMQは、[x_min, x_max] の範囲を保守的に選んでも、強い性能を維持するという高い耐性を示した。
• n < 100ε の小さな標本サイズでは、NOISYMADがSYMQを上回ったが、データ範囲の設定がより注意深く必要であった。
• すべての提案アルゴリズムは、複数のαレベルにおいてほぼ理想のカバレッジ（約1−α）を達成しており、差分プライバシーのもとでの統計的妥当性が確認された。