[論文レビュー] Do I Get the Privacy I Need? Benchmarking Utility in Differential Privacy Libraries

Gonzalo Munilla Garrido, Joseph P. Near+4 more|arXiv (Cornell University)|Sep 22, 2021

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

この論文は、Google DP、SmartNoise、diffprivlib、diffpriv、Chorusの5つのオープンソースの微分プライバシー・ライブラリを、実用性、スケーラビリティ、使いやすさの観点からベンチマークしている。基本的な分析クエリにおいては、すべてのライブラリが同等の実用性を示す一方で、アナリスト支援、サイドチャネル保護、機能セットにおいて顕著な差が見られ、どの1つのライブラリも全分野で優れているわけではないことが判明した。

ABSTRACT

An increasing number of open-source libraries promise to bring differential privacy to practice, even for non-experts. This paper studies five libraries that offer differentially private analytics: Google DP, SmartNoise, diffprivlib, diffpriv, and Chorus. We compare these libraries qualitatively (capabilities, features, and maturity) and quantitatively (utility and scalability) across four analytics queries (count, sum, mean, and variance) executed on synthetic and real-world datasets. We conclude that these libraries provide similar utility (except in some notable scenarios). However, there are significant differences in the features provided, and we find that no single library excels in all areas. Based on our results, we provide guidance for practitioners to help in choosing a suitable library, guidance for library designers to enhance their software, and guidance for researchers on open challenges in differential privacy tools for non-experts.

研究の動機と目的

• 非エキスパートユーザー向けの主流のオープンソース微分プライバシー・ライブラリの実用的実用性とスケーラビリティを評価すること。
• ライブラリ間での主な差異、特に機能、アナリスト支援、サイドチャネル保護の観点を特定すること。
• ライブラリ選定、ツール改善、未解決課題の同定に役立つ実務的ガイダンスを提供すること。
• 今後のDPライブラリ評価のための再現可能で標準化されたベンチマークフレームワークを確立すること。
• 理論的なプライバシー保証と実際のデプロイドシステムにおける実用性のギャップを浮き彫りにすること。

提案手法

• 機能、特徴、成熟度、設計目的に基づき、5つのライブラリの定性的比較を実施した。
• 合成データおよび実世界のデータセットを用いて、4つの分析クエリ（カウント、合計、平均、分散）の定量的ベンチマークを実施した。
• 誤差指標（例：平均二乗誤差）を用いた実用性の評価と、データサイズの増加に伴う実行時間によるスケーラビリティの評価を実施した。
• サイドチャネル保護、自動感受性計算、プライバシー予算管理の支援の有無を評価した。
• 公平な比較を確保するため、再現可能なコードと標準化された設定を用いた。
• プライバシー予算（ε）とデータ規模を変化させた実験を実施し、実用性のトレードオフを分析した。

実験結果

リサーチクエスチョン

• RQ1 5つのDPライブラリは、一般的な分析クエリにおいて、実用性とスケーラビリティの観点でどのように比較されるか？
• RQ2 ライブラリ間で、主な差異は機能、アナリスト支援、サイドチャネル保護のどの点に現れるか？
• RQ3 データサイズとプライバシー予算（ε）の変化に伴い、実用性の結果にどの程度の変動が生じるか？
• RQ4 実世界データと合成データの両方の環境下で、ライブラリの性能はどのように異なるか？
• RQ5 実際のデプロイにおいて、複雑なメカニズムと基本的なメカニズムの使用にどのような実務的影響があるか？

主な発見

• すべての5つのライブラリが、基本的なクエリ（カウント、合計、平均、分散）において類似した実用性を示しており、データ規模やεに応じたわずかな差異があるにとどまる。
• どのライブラリも、真に大規模なデータセットに対して効率的なスケーリングを実現できていないため、大規模なデプロイにおける最適化の必要性が示された。
• アナリスト支援において顕著な差が見られた：diffprivlibはデータサイエンティスト向けの支援が強い一方、Google-DPはより優れたサイドチャネル保護を提供している。
• 自動感受性計算、プライバシー予算管理、機械学習のサポートなど、機能面で顕著な差が見られた。
• 実用性はεにのみ依存するのではなく、データ規模とクエリの種別が誤差率に顕著な影響を与えることが判明した。特にε < 1でデータサイズが10,000以上の場合に顕著である。
• 実装バグが異常を引き起こす可能性がある（例：WhiteNoise 0.1.3における浮動小数点バグ）ため、形式的検証ツール（例：確率的テスト）の導入が不可欠である。