[論文レビュー] Formal Verification of Differential Privacy for Interactive Systems

Michael Carl Tschantz, Dilsun Kaynar+1 more|arXiv (Cornell University)|Jan 14, 2011

Privacy, Security, and Data Protection被引用数 7

ひとこと要約

本稿では、確率的オートマトンと、確率的 bisimulation に基づく関係族に基づく新規証明技法を用いて、インタラクティブシステムにおける微分プライバシーの形式的検証フレームワークを提示する。主な貢献は、複数のプライバシー漏洩バウンドを跨いで、アンワインディング関係をチェックすることにより、システムが微分プライバシーを満たしているかどうかを正当かつ自動的に検証する手法であり、PINQ を模したオートマトン上で実証され、制限付き関係の機械的検証を可能にするアルゴリズムによって裏付けられている。

ABSTRACT

Differential privacy is a promising approach to privacy preserving data analysis with a well-developed theory for functions. Despite recent work on implementing systems that aim to provide differential privacy, the problem of formally verifying that these systems have differential privacy has not been adequately addressed. This paper presents the first results towards automated verification of source code for differentially private interactive systems. We develop a formal probabilistic automaton model of differential privacy for systems by adapting prior work on differential privacy for functions. The main technical result of the paper is a sound proof technique based on a form of probabilistic bisimulation relation for proving that a system modeled as a probabilistic automaton satisfies differential privacy. The novelty lies in the way we track quantitative privacy leakage bounds using a relation family instead of a single relation. We illustrate the proof technique on a representative automaton motivated by PINQ, an implemented system that is intended to provide differential privacy. To make our proof technique easier to apply to realistic systems, we prove a form of refinement theorem and apply it to show that a refinement of the abstract PINQ automaton also satisfies our differential privacy definition. Finally, we begin the process of automating our proof technique by providing an algorithm for mechanically checking a restricted class of relations from the proof technique.

研究の動機と目的

• 既存のノイズ関数の検証に関する研究がある一方で、完全なインタラクティブシステムにおける微分プライバシーの形式的検証のギャップを埋める。
• 関数の分野での先行研究を拡張し、確率的オートマトンを用いた状態遷移を持つシステムのための微分プライバシーの形式的モデルを構築する。
• 単一の関係ではなく関係族を用いる新規な証明技法を導入し、複数のプライバシー漏洩バウンドに跨る定量的プライバシー漏洩を追跡する。
• 制限付き関係のクラスの機械的検証を可能にするアルゴリズムを提供することで、検証の自動化を実現する。
• PINQ を模した現実的なシステムモデル上で本手法を実証し、精錬が微分プライバシーを保持することを示す。

提案手法

• 状態、行動、遷移確率を備えた確率的オートマトンとしてインタラクティブシステムをモデル化し、内部状態変更のための隠し行動を含む。
• プライバシー漏洩バウンド（ε）でインデックス付けされた関係族を用いて、システムの微分プライバシーを定義し、関数に対する標準的な微分プライバシーを一般化する。
• 行動と漏洩バウンドに跨る状態ペアを追跡することで、プライバシーを保証する確率的アンワインディング関係の形式を導入する。
• 抽象システムが微分プライバシーを満たすならば、その精錬実装も同様に満たすことを示す精錬定理を構築する。
• 制限付き関係族のためのアンワインディング関係を機械的に検証するアルゴリズム `isUnwindFam` の設計と健全性の証明を行う。
• 到達可能なすべての状態とデータポイントが有効なアンワインディング族によってカバーされているかどうかを確認するアルゴリズム `isAllCovered` を提供し、エンド・ツー・エンドのプライバシーを保証する。

実験結果

リサーチクエスチョン

• RQ1 関数の微分プライバシー保証を、状態保持行動とユーザーアクセスを伴う完全なインタラクティブシステムに拡張可能か？
• RQ2 複雑な状態遷移とデータ依存性を持つシステムにおける微分プライバシーの形式的証明技法をどのように設計できるか？
• RQ3 スケーラブルかつ健全な方法で、複数のεバウンドに跨るプライバシー漏洩を追跡するために、関係族が果たす役割は何か？
• RQ4 現実的なシステムにおける検証プロセスを自動化可能か？その自動化の計算的限界は何か？
• RQ5 システムの精錬がその微分プライバシー保証を保持するか？そして、その正式な証明はどのように行えるか？

主な発見

• 関係族に基づく提案された証明技法は、確率的オートマトンとしてモデル化されたインタラクティブシステムにおける微分プライバシーの検証に、健全な方法を提供する。
• 本手法は、抽象モデルと同一の微分プライバシー保証を満たすことを、PINQ を模したオートマトンの精錬版に対して正しく検証し、合成的正しさを示した。
• アルゴリズム `isUnwindFam` は、時間計算量 O(t*|A|*|S|^4) で制限付き関係族のアンワインディング関係を機械的に検証でき、検証の部分的自動化を可能にする。
• アルゴリズム `isAllCovered` は O(t*|D|*|A|*|S|^5) の時間計算量で実行され、システムが (t*δ)-微分非干渉性を満たすかどうかを正しく同定する。これによりエンド・ツー・エンドのプライバシーが保証される。
• 両アルゴリズムの健全性は形式的に証明されており、実世界のシステムにおける微分プライバシーの自動検証の基盤を確立する。
• 本研究は、完全に機能的で、状態保持型かつインタラクティブなシステムにおける微分プライバシー検証の最初の形式的フレームワークを確立した。理論と実装の橋渡しを果たした。