[论文解读] Duet: An Expressive Higher-order Language and Linear Type System for Statically Enforcing Differential Privacy

Joseph P. Near, David Darais+9 more|arXiv (Cornell University)|Sep 5, 2019

Privacy-Preserving Technologies in Data参考文献 50被引用 5

一句话总结

Duet 是一种具有新颖线性类型系统的高阶编程语言，可静态强制执行通用程序（包括复杂的机器学习工作负载）中的差分隐私。它支持 $(\epsilon,\delta)$、Rényi 和零集中差分隐私等高级隐私变体，能够自动验证隐私界限，并在训练模型中实现更高的精度。

ABSTRACT

During the past decade, differential privacy has become the gold standard for protecting the privacy of individuals. However, verifying that a particular program provides differential privacy often remains a manual task to be completed by an expert in the field. Language-based techniques have been proposed for fully automating proofs of differential privacy via type system design, however these results have lagged behind advances in differentially-private algorithms, leaving a noticeable gap in programs which can be automatically verified while also providing state-of-the-art bounds on privacy. We propose Duet, an expressive higher-order language, linear type system and tool for automatically verifying differential privacy of general-purpose higher-order programs. In addition to general purpose programming, Duet supports encoding machine learning algorithms such as stochastic gradient descent, as well as common auxiliary data analysis tasks such as clipping, normalization and hyperparameter tuning - each of which are particularly challenging to encode in a statically verified differential privacy framework. We present a core design of the Duet language and linear type system, and complete key proofs about privacy for well-typed programs. We then show how to extend Duet to support realistic machine learning applications and recent variants of differential privacy which result in improved accuracy for many practical differentially private algorithms. Finally, we implement several differentially private machine learning algorithms in Duet which have never before been automatically verified by a language-based tool, and we present experimental results which demonstrate the benefits of Duet's language design in terms of accuracy of trained machine learning models.

研究动机与目标

• 通过支持基于语言的静态隐私证明，弥合先进差分私有个算法与自动化验证工具之间的差距。
• 在隐私保护的上下文中，支持具有高阶函数、复合数据类型和矩阵运算的表达性通用编程。
• 支持现代隐私变体的静态验证，包括 $(\epsilon,\delta)$、Rényi 和零集中差分隐私，而此前的系统无法处理这些变体。
• 通过支持自动计算的精确隐私界限，提高差分私有机器学习模型的精度。
• 提供一个实用且可扩展的框架，支持真实世界的机器学习流水线，如随机梯度下降、裁剪和超参数调优。

提出的方法

• Duet 采用双语言设计：一个具有度量缩放线性类型的敏感度语言，用于限制函数的敏感度；一个具有无缩放线性类型的隐私语言，用于组合私有计算。
• 隐私语言利用线性类型来跟踪每个变量的资源使用情况，并组合多个函数参数之间的独立隐私成本。
• 通过在类型系统中编码多种隐私变体——$(\epsilon,\delta)$、Rényi、zCDP、tCDP——实现精确且可组合的隐私会计。
• 它集成了对常见数据分析操作（如裁剪、归一化和矩阵计算）的安全类型抽象，这些操作对机器学习流水线至关重要。
• 类型系统确保经过良好类型检查的程序在构造上就是差分私有的，隐私界限通过类型推断自动计算。
• 该设计允许模块化扩展以支持新的隐私变体，且对良好类型程序的隐私正确性提供形式化证明。

实验结果

研究问题

• RQ1 一种具有线性类型系统的通用高阶语言能否静态验证复杂真实机器学习流水线中的差分隐私？
• RQ2 该类型系统能否在保持精度和可组合性的前提下，支持 $(\epsilon,\delta)$ 和 Rényi 差分隐私等高级隐私变体？
• RQ3 该语言能否以类型安全的方式表达并验证诸如裁剪、归一化和超参数调优等隐私保护操作？
• RQ4 与需要手动证明的先前工具相比，Duet 的静态验证是否能带来更高的模型精度？
• RQ5 该系统能否在不破坏现有保证的前提下扩展以支持新的隐私变体？

主要发现

• Duet 已成功验证了若干此前未被基于语言的工具验证过的差分私有机器学习算法，证明了其实际适用性。
• 该系统为涉及随机梯度下降、裁剪和超参数调优的复杂流水线计算出精确的端到端隐私界限。
• 实验表明，Duet 的语言设计通过实现更紧密、更精确的隐私预算会计，带来了更高的模型精度。
• 采用独立敏感度与隐私类型系统分离的双语言架构，使得在高阶函数和数据转换之间能够精确组合隐私成本。
• Duet 支持现代隐私变体，包括 Rényi 和零集中差分隐私，而此前的类型系统因效应建模的局限性而无法表达这些变体。
• 形式化证明表明，Duet 中良好类型程序是差分私有的，其隐私保证源自类型系统。