[論文レビュー] Guidelines for Implementing and Auditing Differentially Private Systems

Daniel Kifer, Solomon Messing+3 more|arXiv (Cornell University)|Feb 10, 2020

Privacy-Preserving Technologies in Data参考文献 67被引用数 25

ひとこと要約

この論文は、微分プライバシーのシステムを実装・監査するための包括的なベストプラクティスを提供しており、単体テスト、コードレビュー、パrameter選定に焦点を当てている。プライバシーに重要なコンponentを分離することで、検証を容易にし、攻撃面を縮小するモジュラーなアーキテクチャを導入し、数学的保証が強いプライバシー保護型データプラットフォームの実用的導入を可能にする。

ABSTRACT

Differential privacy is an information theoretic constraint on algorithms and code. It provides quantification of privacy leakage and formal privacy guarantees that are currently considered the gold standard in privacy protections. In this paper we provide an initial set of "best practices" for developing differentially private platforms, techniques for unit testing that are specific to differential privacy, guidelines for checking if differential privacy is being applied correctly in an application, and recommendations for parameter settings. The genesis of this paper was an initiative by Facebook and Social Science One to provide social science researchers with programmatic access to a URL-shares dataset. In order to maximize the utility of the data for research while protecting privacy, researchers should access the data through an interactive platform that supports differential privacy. The intention of this paper is to provide guidelines and recommendations that can generally be re-used in a wide variety of systems. For this reason, no specific platforms will be named, except for systems whose details and theory appear in academic papers.

研究の動機と目的

• 実世界のソフトウェア展開における微分プライバシーのシステムを実装・監査するための標準化されたベストプラクティスの欠如に対処すること。
• 理論的モデルと実際のコードとの不一致、実装バグ、サイドチャネル脆弱性によって引き起こされるプライバシー漏洩のリスクを低減すること。
• 体系的なテスト、モジュラー設計、プライバシーに重要なコンponentのオープンな監査を通じて、微分プライバシーの展開に対する信頼を高めること。
• 微分プライバシーを提供すると主張するシステムを構築または監査する開発者や監査者に、実用的で再利用可能なガイドラインを提供すること。
• 理論的微分プライバシーの証明と、その生産ソフトウェアにおける正しい実装の間のギャップを埋めること。

提案手法

• データアクセス（感度計算）とプライバシー論理（ノイズ出力生成）を分離するレイヤードシステムアーキテクチャを提案し、独立したテストを可能にする。
• プライバシー保証に正しく動作しなければならないコード部分（「プライバシーコア」）を最小限に抑えるために、非プライバシーに重要な論理をポストプロセッシング層に移動することを提唱する。
• 最悪ケースの微分プライバシー保証に違反するかどうかを検出するため、統計的仮説検定に基づく自動化された単体テストを実装する。
• 感度とリプシッツ連続性のチェックを基盤とするテストとして、入力の変更が出力の過度な変化を引き起こさないかを検証する。
• 感度の静的追跡と正しさの保証をコンパイル時に行うために、型システムと形式的検証技術を統合する。
• プライバシーコアをオープンソース化することを推奨し、より広範な同僚レビューを可能にし、システムの正しさに対する信頼を高める。

実験結果

リサーチクエスチョン

• RQ1 開発者は、微分プライバシーのアルゴリズムの実装が理論的プライバシー保証と一致していることをどのように保証できるか？
• RQ2 形式的検証を回避する微細なバグを検出するための体系的テスト戦略は何か？
• RQ3 システムアーキテクチャをどのように設計すれば、攻撃面を最小限に抑え、プライバシーに重要なコードの監査を簡素化できるか？
• RQ4 タイミング攻撃や浮動小数点誤差などのサイドチャネル脆弱性は、実際の微分プライバシーの実装をどのように脅かすか？
• RQ5 自動テストは、数学的証明にどのように補完的に働き、微分プライバシーのシステムに対する信頼を築くのに寄与するか？

主な発見

• 理論的証明が正しくても、実装レベルのバグがプライバシー保証を無効にすることがあるため、テストがプライバシー保証の検出に不可欠であることが明らかになった。
• データアクセス、プライバシー、ポストプロセッシングのレイヤーにシステムをモジュラー化することで、独立したテストが可能になり、プライバシーに重要なコードの検証対象範囲が縮小される。
• 感度とリプシッツ連続性は、隣接するデータセット間での出力差を測定することで実証的にテスト可能であり、実用的な検証手法を提供する。
• 自動化された統計的仮説検定を用いることで、微分プライバシーの主張を反証でき、形式的証明の実用的補完としての役割を果たす。
• タイミング攻撃や浮動小数点精度の問題といったサイドチャネル脆弱性は、実装段階と監査段階で対処すべき現実のリスクである。
• プライバシーコアをオープンソース化することで、透明性が向上し、コミュニティ全体による監査が可能になり、展開されたシステムの信頼性と信頼性が著しく向上する。