[논문 리뷰] Duet: An Expressive Higher-order Language and Linear Type System for Statically Enforcing Differential Privacy

Joseph P. Near, David Darais외 9명|arXiv (Cornell University)|2019. 09. 05.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 5

한 줄 요약

Duet는 일반적인 프로그램, 특히 복잡한 머신러닝 워크로드를 포함하여 정적적으로 차별적 비밀보장성을 강제하는 새로운 선형 타입 체계를 갖춘 고차수 프로그래밍 언어이다. 이는 $(\epsilon,\delta)$, 레니(Rényi), 제로-집중된 차별적 비밀보장성 등의 고도화된 비밀보장 변형을 지원하며, 훈련된 모델의 정확도를 향상시키면서도 자동으로 비밀보장 범위를 검증할 수 있도록 한다.

ABSTRACT

During the past decade, differential privacy has become the gold standard for protecting the privacy of individuals. However, verifying that a particular program provides differential privacy often remains a manual task to be completed by an expert in the field. Language-based techniques have been proposed for fully automating proofs of differential privacy via type system design, however these results have lagged behind advances in differentially-private algorithms, leaving a noticeable gap in programs which can be automatically verified while also providing state-of-the-art bounds on privacy. We propose Duet, an expressive higher-order language, linear type system and tool for automatically verifying differential privacy of general-purpose higher-order programs. In addition to general purpose programming, Duet supports encoding machine learning algorithms such as stochastic gradient descent, as well as common auxiliary data analysis tasks such as clipping, normalization and hyperparameter tuning - each of which are particularly challenging to encode in a statically verified differential privacy framework. We present a core design of the Duet language and linear type system, and complete key proofs about privacy for well-typed programs. We then show how to extend Duet to support realistic machine learning applications and recent variants of differential privacy which result in improved accuracy for many practical differentially private algorithms. Finally, we implement several differentially private machine learning algorithms in Duet which have never before been automatically verified by a language-based tool, and we present experimental results which demonstrate the benefits of Duet's language design in terms of accuracy of trained machine learning models.

연구 동기 및 목표

• 고도화된 차별적 비밀보장 알고리즘과 자동 검증 도구 사이의 격차를 해소하기 위해 정적이고 언어 기반의 비밀보장 증명을 가능하게 하기 위해.
• 고차수 함수, 복합 데이터 타입, 행렬 연산을 포함한 표현력 있고 일반적인 프로그래밍을 비밀보장 환경에서 지원하기 위해.
• 이전 시스템이 처리할 수 없었던 현대적 비밀보장 변형, 즉 $(\epsilon,\delta)$, 레니, 제로-집중된 차별적 비밀보장성의 정적 검증을 가능하게 하기 위해.
• 정확하고 자동으로 계산된 비밀보장 예산을 통해 차별적 비밀보장 머신러닝 모델의 정확도를 향상시키기 위해.
• 실제 머신러닝 파이프라인인 확률적 경사하강법, 클리핑, 하이퍼파ram터 튜닝 등을 지원하는 실용적이고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• Duet는 이중 언어 아키텍처를 사용한다: 감도 언어는 메트릭 스케일링 선형 타입을 통해 함수의 감도를 제한하고, 비밀보장 언어는 스케일링이 없는 선형 타입을 사용해 비밀보장 계산을 조합한다.
• 비밀보장 언어는 선형 타이핑을 통해 각 변수의 자원 사용을 추적하고, 여러 함수 인수 간의 독립적인 비밀보장 비용을 조합한다.
• 이 시스템은 $(\epsilon,\delta)$, 레니, zCDP, tCDP 등의 다양한 비밀보장 변형을 선형 타입 체계에 통합함으로써 정밀하고 조합 가능한 비밀보장 회계를 가능하게 한다.
• 클리핑, 정규화, 행렬 연산과 같은 일반적인 데이터 분석 작업을 위한 타입 안전한 추상화를 통합하여 머신러닝 파이프라인에 필수적인 요소를 제공한다.
• 타입 체계는 잘 타입된 프로그램이 구성에 따라 자동으로 차별적 비밀보장성을 갖도록 보장하며, 타입 추론을 통해 비밀보장 범위를 자동으로 계산한다.
• 새로운 비밀보장 변형에 대한 모듈식 확장을 가능하게 하며, 잘 타입된 프로그램에 대한 비밀보장 정확성에 대한 형식적 증명을 제공한다.

실험 결과

연구 질문

• RQ1 일반적인 고차수 언어와 선형 타입 체계를 갖춘 Duet는 실질적인 머신러닝 파이프라인에 대해 정적 검증을 통해 차별적 비밀보장을 성공적으로 수행할 수 있는가?
• RQ2 타입 체계는 정밀도와 조합 가능성 유지와 함께 $(\epsilon,\delta)$와 레니 차별적 비밀보장성과 같은 고도화된 비밀보장 변형을 지원할 수 있는가?
• RQ3 클리핑, 정규화, 하이퍼파ram터 튜닝과 같은 비밀보장 작업을 타입 안전한 방식으로 표현하고 검증할 수 있는가?
• RQ4 Duet의 정적 검증은 수동 증명이 필요한 이전 도구에 비해 모델 정확도를 향상시키는가?
• RQ5 기존 보장을 해치지 않고도 새로운 비밀보장 변형을 지원하기 위해 시스템을 확장할 수 있는가?

주요 결과

• Duet는 이전 언어 기반 도구로는 검증되지 않았던 여러 차별적 비밀보장 머신러닝 알고리즘을 성공적으로 검증하여 실용적 적용 가능성을 입증했다.
• 확률적 경사하강법, 클리핑, 하이퍼파ram터 튜닝을 포함한 복잡한 파이프라인에 대해 정확하고 종단 간 비밀보장 범위를 계산했다.
• 실험 결과 Duet의 언어 설계가 더 엄밀하고 정확한 비밀보장 예산 회계를 가능하게 하여 모델 정확도 향상에 기여함을 보였다.
• 감도와 비밀보장 타입 체계를 별도로 두어 고차수 함수와 데이터 변환 간의 비밀보장 비용 정확한 조합이 가능했다.
• Duet는 이전 타입 체계가 효과 모델링의 한계로 인해 표현할 수 없었던 현대적 비밀보장 변형인 레니와 제로-집중된 차별적 비밀보장성을 지원한다.
• 형식적 증명을 통해 Duet에서 잘 타입된 프로그램은 차별적 비밀보장성을 갖으며, 비밀보장 보장 사항이 타입 체계에서 유도됨을 입증했다.