[논문 리뷰] Formal Verification of Differential Privacy for Interactive Systems

Michael Carl Tschantz, Dilsun Kaynar외 1명|arXiv (Cornell University)|2011. 01. 14.

Privacy, Security, and Data Protection인용 수 7

한 줄 요약

이 논문은 확률적 부동체와 관계 가족 기반의 새로운 증명 기법을 사용하여 상호작용 시스템에서의 차별적 비밀보장성에 대한 형식적 검증 프레임워크를 제안한다. 주요 기여는 여러 비밀 누출 한계를 통해 전개되는 언윈딩 관계를 검사하여, 시스템이 차별적 비밀보장성을 만족하는지 확인하는 타당하고 자동화된 방법을 제공하는 것이다. 이는 PINQ를 모델로 삼은 부동체에서 검증되었으며, 제한된 관계에 대한 기계적 검증을 위한 알고리즘으로 뒷받침된다.

ABSTRACT

Differential privacy is a promising approach to privacy preserving data analysis with a well-developed theory for functions. Despite recent work on implementing systems that aim to provide differential privacy, the problem of formally verifying that these systems have differential privacy has not been adequately addressed. This paper presents the first results towards automated verification of source code for differentially private interactive systems. We develop a formal probabilistic automaton model of differential privacy for systems by adapting prior work on differential privacy for functions. The main technical result of the paper is a sound proof technique based on a form of probabilistic bisimulation relation for proving that a system modeled as a probabilistic automaton satisfies differential privacy. The novelty lies in the way we track quantitative privacy leakage bounds using a relation family instead of a single relation. We illustrate the proof technique on a representative automaton motivated by PINQ, an implemented system that is intended to provide differential privacy. To make our proof technique easier to apply to realistic systems, we prove a form of refinement theorem and apply it to show that a refinement of the abstract PINQ automaton also satisfies our differential privacy definition. Finally, we begin the process of automating our proof technique by providing an algorithm for mechanically checking a restricted class of relations from the proof technique.

연구 동기 및 목표

• 기존에 정제 기능 검증에 대한 연구가 존재하나, 전체 상호작용 시스템에 대한 차별적 비밀보장성의 형식적 검증에 빈도가 존재하는 점을 보완하기 위해.
• 기존 함수 기반 연구를 확장하여, 확률적 부동체를 사용한 시스템에 대한 차별적 비밀보장성의 형식적 모델을 개발하기 위해.
• 단일 관계가 아닌 관계 가족 기반의 새로운 증명 기법을 도입하여, 여러 비밀 누출 한계를 통해 정량적 비밀 누출을 추적하기 위해.
• 제한된 관계 클래스에 대한 기계적 검증 알고리즘을 제공하여 검증 과정의 자동화를 가능하게 하기 위해.
• PINQ를 모델로 삼은 현실적인 시스템 모델에 대해 이 방법을 적용하여, 정교화가 차별적 비밀보장성을 유지하는지 보여주기 위해.

제안 방법

• 상태, 동작, 전이 확률을 포함한 상태 변화를 위한 은닉 동작을 갖는 확률적 부동체로 상호작용 시스템을 모델링한다.
• 비밀 누출 한계(에프실론)에 따라 인덱싱된 관계 가족을 사용하여 시스템의 차별적 비밀보장성을 정의함으로써, 기존 함수 기반 표준 차별적 비밀보장성의 일반화를 수행한다.
• 행동 및 비밀 누출 한계를 통해 상태 쌍을 추적함으로써 비밀을 보장하는 확률적 언윈딩 관계의 형태를 도입한다.
• 만약 추상 시스템이 차별적 비밀보장성을 만족한다면, 그 정교화된 구현도 동일한 성질을 만족함을 보여주는 정교화 정리(Refinement Theorem)를 개발한다.
• 제한된 관계 가족 클래스에 대해 언윈딩 관계를 기계적으로 검증할 수 있는 알고리즘 `isUnwindFam`을 설계하고 타당성을 증명한다.
• 모든 도달 가능한 상태와 데이터 포인트가 유효한 언윈딩 가족에 의해 커버되는지 확인하는 알고리즘 `isAllCovered`를 제공함으로써 종단 간 비밀보장을 보장한다.

실험 결과

연구 질문

• RQ1 함수 기반 차별적 비밀보장성 보장을 상태 기반 동작과 사용자 상호작용을 포함한 전체 상호작용 시스템으로 확장할 수 있는가?
• RQ2 복잡한 상태 전이와 데이터 종속성을 갖는 시스템에서 차별적 비밀보장성을 검증하기 위한 형식적 증명 기법은 어떻게 설계할 수 있는가?
• RQ3 관계 가족은 다중 에프실론 한계에서 비밀 누출을 체계적이고 타당하게 추적하는 데 어떤 역할을 하는가?
• RQ4 실제 시스템에 대해 검증 과정을 자동화할 수 있으며, 그러한 자동화의 계산적 한계는 무엇인가?
• RQ5 시스템의 정교화가 차별적 비밀보장성을 유지하는가? 그리고 이를 어떻게 형식적으로 증명할 수 있는가?

주요 결과

• 관계 가족 기반의 제안된 증명 기법은 확률적 부동체로 모델링된 상호작용 시스템에서 차별적 비밀보장성을 검증하는 데 타당한 방법을 제공한다.
• 이 방법은 PINQ를 모델로 삼은 부동체의 정교화된 버전이 추상 모델과 동일한 차별적 비밀보장성을 만족한다는 것을 성공적으로 검증하여, 구성적 정당성(Compositional Correctness)을 입증한다.
• 알고리즘 `isUnwindFam`은 O(t*|A|*|S|^4) 시간 내에 제한된 관계 가족의 언윈딩 관계를 기계적으로 검증할 수 있어 검증의 부분 자동화를 가능하게 한다.
• 알고리즘 `isAllCovered`는 O(t*|D|*|A|*|S|^5) 시간 내에 실행되며, (t*δ)-차별적 비자유성(Noninterference)을 만족하는지 정확히 식별함으로써 종단 간 비밀보장을 보장한다.
• 두 알고리즘의 타당성은 형식적으로 증명되었으며, 실세계 시스템에서의 차별적 비밀보장성에 대한 자동 검증 기반을 마련한다.
• 이 연구는 이론과 구현을 연결하는 첫 번째 형식적 프레임워크를 구축하여, 기능적, 상태 기반, 상호작용 가능한 전체 시스템에서의 차별적 비밀보장성 검증을 가능하게 한다.