[论文解读] Formal Verification of Differential Privacy for Interactive Systems

Michael Carl Tschantz, Dilsun Kaynar+1 more|arXiv (Cornell University)|Jan 14, 2011

Privacy, Security, and Data Protection被引用 7

一句话总结

本文提出了一种基于概率自动机和基于关系族的新型证明技术（基于概率双芽等价）的形式化验证框架，用于交互式系统中的微差隐私。主要贡献是提出一种可靠且自动化的验证方法，通过检查多个隐私泄露边界上的解缠关系，来验证系统是否满足微差隐私，该方法在受 PINQ 启发的自动机上进行了演示，并通过一种用于机械检查受限关系的算法提供支持。

ABSTRACT

Differential privacy is a promising approach to privacy preserving data analysis with a well-developed theory for functions. Despite recent work on implementing systems that aim to provide differential privacy, the problem of formally verifying that these systems have differential privacy has not been adequately addressed. This paper presents the first results towards automated verification of source code for differentially private interactive systems. We develop a formal probabilistic automaton model of differential privacy for systems by adapting prior work on differential privacy for functions. The main technical result of the paper is a sound proof technique based on a form of probabilistic bisimulation relation for proving that a system modeled as a probabilistic automaton satisfies differential privacy. The novelty lies in the way we track quantitative privacy leakage bounds using a relation family instead of a single relation. We illustrate the proof technique on a representative automaton motivated by PINQ, an implemented system that is intended to provide differential privacy. To make our proof technique easier to apply to realistic systems, we prove a form of refinement theorem and apply it to show that a refinement of the abstract PINQ automaton also satisfies our differential privacy definition. Finally, we begin the process of automating our proof technique by providing an algorithm for mechanically checking a restricted class of relations from the proof technique.

研究动机与目标

• 为解决尽管已有针对数据净化函数的微差隐私形式化验证工作，但在完整交互式系统上仍缺乏形式化验证的空白。
• 为使用概率自动机的系统建立微差隐私的形式化模型，扩展先前针对函数的工作。
• 提出一种基于关系族而非单个关系的新证明技术，以在多个边界上追踪定量隐私泄露。
• 通过提供一种算法来机械检查受限关系类，实现验证过程的自动化。
• 在受 PINQ 启发的现实系统模型上展示该方法，证明抽象模型的规约能保持微差隐私。

提出的方法

• 将交互式系统建模为带有状态、动作和转移概率的概率自动机，包括用于内部状态变化的隐藏动作。
• 使用以隐私泄露边界（epsilon）为索引的关系族来定义系统的微差隐私，推广标准函数的微差隐私。
• 引入一种概率解缠关系形式，通过跟踪动作和泄露边界下的状态对来确保隐私。
• 提出一个规约定理，证明若抽象系统满足微差隐私，则其细化实现也满足。
• 设计并证明一个算法 `isUnwindFam` 的正确性，用于机械验证受限关系族类的解缠关系。
• 提供一个算法 `isAllCovered`，用于检查每个可达状态和数据点是否被有效的解缠族覆盖，从而确保端到端隐私。

实验结果

研究问题

• RQ1 能否将函数的微差隐私保证扩展到具有状态行为和用户交互的完整交互式系统？
• RQ2 如何设计一种形式化证明技术，以验证具有复杂状态转移和数据依赖的系统中的微差隐私？
• RQ3 关系族在可扩展且可靠地跨多个 epsilon 边界追踪隐私泄露方面起什么作用？
• RQ4 验证过程能否在真实系统上实现自动化，此类自动化的计算极限是什么？
• RQ5 系统规约是否保持其微差隐私保证，以及如何形式化证明这一点？

主要发现

• 基于关系族的所提证明技术为基于概率自动机建模的交互式系统提供了验证微差隐私的可靠方法。
• 该方法成功验证了受 PINQ 启发的自动机的细化版本，其满足与抽象模型相同的微差隐私保证，展示了组合正确性。
• 算法 `isUnwindFam` 可在 O(t*|A|*|S|^4) 时间内机械检查受限关系类，实现了验证的部分自动化。
• 算法 `isAllCovered` 的运行时间为 O(t*|D|*|A|*|S|^5)，并能正确识别系统是否满足 (t*δ)-微差非干扰，从而确保端到端隐私。
• 两个算法的正确性均经过形式化证明，为现实世界系统中微差隐私的自动化验证奠定了基础。
• 本工作建立了首个用于全功能、有状态且交互式系统的微差隐私形式化验证框架，弥合了理论与实现之间的鸿沟。