[論文レビュー] Toward Detecting Violations of Differential Privacy.

Ding Ding, Yuxin Wang+3 more|arXiv (Cornell University)|May 25, 2018

Privacy-Preserving Technologies in Data参考文献 32被引用数 1

ひとこと要約

本論文では、誤ったアルゴリズムにおける微分プライバシーの違反を自動的に検出する統計的手法を提案する。短く人間が読みやすい反例を生成することで、数秒で高い正確性で不正な実装を特定する。

ABSTRACT

The widespread acceptance of differential privacy has led to the publication of many sophisticated algorithms for protecting privacy. However, due to the subtle nature of this privacy definition, many such algorithms have bugs that make them violate their claimed privacy. In this paper, we consider the problem of producing counterexamples for such incorrect algorithms. The counterexamples are designed to be short and human-understandable so that the counterexample generator can be used in the development process -- a developer could quickly explore variations of an algorithm and investigate where they break down. Our approach is statistical in nature. It runs a candidate algorithm many times and uses statistical tests to try to detect violations of differential privacy. An evaluation on a variety of incorrect published algorithms validates the usefulness of our approach: it correctly rejects incorrect algorithms and provides counterexamples for them within a few seconds.

研究の動機と目的

• 微分プライバシーの保証を主張するが、実際にはその保証を満たさない微妙なバグを検出する課題に対処すること。
• 不正な実装に対して短く人間が理解できる反例を生成する実用的で自動化されたツールを開発すること。
• 開発段階でプライバシー保護アルゴリズムのデバッグと最適化を迅速に行えるようにすること。
• 統計的検定が、公開済みだが誤りを含むさまざまなアルゴリズムにおいて、プライバシー違反を特定する有効性を評価すること。

提案手法

• 候補となる微分プライバシーアルゴリズムを同じ入力に対して複数回実行し、出力分布を収集する。
• 隣接する入力における出力分布を比較するために統計的仮説検定を適用し、顕著な差が生じるかどうかを検出することで、プライバシー違反を特定する。
• 統計的検定からのp値を用いて、アルゴリズムが微分プライバシーを満たさないかどうかを評価する。
• 統計的に顕著なずれを示す入力ペアと出力パターンを特定することで、反例を生成する。
• 軽量で高速な設計となっており、アルゴリズム開発中のインタラクティブな探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統計的検定は、公開済みだが誤りを含むアルゴリズムにおける微分プライバシー違反を効果的に検出できるか？
• RQ2 本手法は、開発者にとって短く理解しやすい反例を生成できるか？
• RQ3 実際の状況で、このアプローチはどの程度の速さでプライバシー違反を特定できるか？
• RQ4 さまざまなタイプの誤った微分プライバシー実装に対して、この手法はどの程度の頑健性を示すか？

主な発見

• テストされたすべての誤った微分プライバシーアルゴリズムに対して、本手法は正常に拒否した。これは、プライバシー違反の検出能力を裏付けている。
• 反例は数秒で生成され、アルゴリズム開発段階での迅速なフィードバックを可能にした。
• 本手法は、特定のアルゴリズムが微分プライバシーを満たさない理由を明確に示す人間が読みやすい反例を生成した。
• 統計的検定は、人手では検出が困難な微細なプライバシー違反に対しても効果的であることが示された。