[論文レビュー] Duet: An Expressive Higher-order Language and Linear Type System for Statically Enforcing Differential Privacy

Joseph P. Near, David Darais+9 more|arXiv (Cornell University)|Sep 5, 2019

Privacy-Preserving Technologies in Data参考文献 50被引用数 5

ひとこと要約

Duet は、一般のプログラム、特に複雑な機械学習ワークロードに対しても微分プライバシーを静的に強制する、革新的な線形型システムを備えた高階関数型プログラミング言語である。$(\epsilon,\delta)$、Rényi、ゼロ集中微分プライバシーといった高度なプライバシーのバリエーションをサポートし、訓練済みモデルの精度を向上させながら、プライバシー境界の自動検証を可能にする。

ABSTRACT

During the past decade, differential privacy has become the gold standard for protecting the privacy of individuals. However, verifying that a particular program provides differential privacy often remains a manual task to be completed by an expert in the field. Language-based techniques have been proposed for fully automating proofs of differential privacy via type system design, however these results have lagged behind advances in differentially-private algorithms, leaving a noticeable gap in programs which can be automatically verified while also providing state-of-the-art bounds on privacy. We propose Duet, an expressive higher-order language, linear type system and tool for automatically verifying differential privacy of general-purpose higher-order programs. In addition to general purpose programming, Duet supports encoding machine learning algorithms such as stochastic gradient descent, as well as common auxiliary data analysis tasks such as clipping, normalization and hyperparameter tuning - each of which are particularly challenging to encode in a statically verified differential privacy framework. We present a core design of the Duet language and linear type system, and complete key proofs about privacy for well-typed programs. We then show how to extend Duet to support realistic machine learning applications and recent variants of differential privacy which result in improved accuracy for many practical differentially private algorithms. Finally, we implement several differentially private machine learning algorithms in Duet which have never before been automatically verified by a language-based tool, and we present experimental results which demonstrate the benefits of Duet's language design in terms of accuracy of trained machine learning models.

研究の動機と目的

• 高度な微分プライバシー準拠アルゴリズムと自動検証ツールの間のギャップを埋めるために、静的で言語ベースのプライバシー証明を可能にすること。
• 高階関数、複合データ型、行列演算を含む表現力豊かな一般用途プログラミングを、プライバシー保護の文脈でサポートすること。
• $(\epsilon,\delta)$、Rényi、ゼロ集中微分プライバシーといった現代的なプライバシーのバリエーションの静的検証を可能にすること。これまでは処理できなかった。
• 微分プライバシーのプライバシー予算を精確に自動計算することで、微分プライバシー機械学習モデルの精度を向上させること。
• 実世界の機械学習パイプライン（例：確率的勾配降下法、クリッピング、ハイパーパramータチューニング）をサポートする実用的で拡張可能なフレームワークを提供すること。

提案手法

• Duet は二重言語アーキテクチャを採用している：感度を制御する感度言語（メトリックスケーリング付き線形型）と、プライバシー計算を合成するプライバシー言語（スケーリングなしの線形型）。
• プライバシー言語は線形型を用いて各変数のリソース使用量を追跡し、複数の関数引数における独立したプライバシーコストを合成する。
• $(\epsilon,\delta)$、Rényi、zCDP、tCDP といった複数のプライバシーバリエーションを、線形型システム内に埋め込むことで、正確かつ合成可能なプライバシー会計を可能にする。
• クリッピング、正規化、行列演算といった一般的なデータ分析操作の型安全な抽象化を統合し、機械学習パイプラインに不可欠な要素をカバーする。
• 型システムにより、型検査に合格したプログラムは構成上微分プライバシーを満たし、型推論によりプライバシー境界が自動的に計算される。
• 新しいプライバシーバリエーションへのモジュラーな拡張が可能であり、型検査に合格したプログラムのプライバシー正しさについての形式的証明が可能である。

実験結果

リサーチクエスチョン

• RQ1 一般用途の高階関数型言語に線形型システムを組み合わせ、複雑な実世界の機械学習パイプラインにおける微分プライバシーの静的検証が可能か？
• RQ2 $(\epsilon,\delta)$ や Rényi 微分プライバシーといった高度なプライバシーのバリエーションを、精度と合成可能性を保ちつつ型システムがサポートできるか？
• RQ3 クリッピング、正規化、ハイパーパramータチューニングといったプライバシー保護操作を、型安全な方法で表現・検証できるか？
• RQ4 Duet の静的検証により、従来の手動証明を必要とするツールと比較して、モデルの精度が向上するか？
• RQ5 既存の保証を損なわずに、新しいプライバシーバリエーションのサポートを拡張できるか？

主な発見

• Duet は、従来の言語ベースのツールでは検証できなかった複数の微分プライバシー機械学習アルゴリズムを成功裏に検証し、実用的応用の有効性を示した。
• 確率的勾配降下法、クリッピング、ハイパーパラメータチューニングを含む複雑なパイプラインに対して、正確なエンドツーエンドのプライバシー境界を計算した。
• 実験の結果、Duet の言語設計により、よりタイトで正確なプライバシー予算会計が可能となり、モデルの精度が向上した。
• 感度とプライバシーの型システムを分離した二重言語アーキテクチャにより、高階関数やデータ変換におけるプライバシーコストの正確な合成が可能になった。
• Rényi およびゼロ集中微分プライバシーといった現代的なプライバシーバリエーションをサポートしたが、従来の型システムでは効果のモデル化の制限により、これらを表現できなかった。
• 形式的証明により、Duet で型検査に合格したプログラムは微分プライバシーを満たしており、プライバシー保証は型システムから導出されることを確立した。