[논문 리뷰] Extremal Mechanisms for Local Differential Privacy

Peter Kairouz, Sewoong Oh외 1명|arXiv (Cornell University)|2014. 07. 04.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 266

한 줄 요약

이 논문은 국소적 차별적 프라이버시에 대한 최적의 프라이버시화 기법으로 계단형 메커니즘을 도입하며, 정보 이론적 유용도의 광범위한 클래스에서 프라이버시 제약 조건 하에 최대 유용도를 달성함을 증명한다. 이는 프라이버시-유용도 최적화 문제가 유한 차원 선형 프로그래밍으로 감소함을 보이며, 이론적으로 이중 및 랜덤화된 응답 메커니즘이 저프라이버시 및 고프라이버시 영역에서 항상 최적임을 나타낸다.

ABSTRACT

Local differential privacy has recently surfaced as a strong measure of privacy in contexts where personal information remains private even from data analysts. Working in a setting where both the data providers and data analysts want to maximize the utility of statistical analyses performed on the released data, we study the fundamental trade-off between local differential privacy and utility. This trade-off is formulated as a constrained optimization problem: maximize utility subject to local differential privacy constraints. We introduce a combinatorial family of extremal privatization mechanisms, which we call staircase mechanisms, and show that it contains the optimal privatization mechanisms for a broad class of information theoretic utilities such as mutual information and $f$-divergences. We further prove that for any utility function and any privacy level, solving the privacy-utility maximization problem is equivalent to solving a finite-dimensional linear program, the outcome of which is the optimal staircase mechanism. However, solving this linear program can be computationally expensive since it has a number of variables that is exponential in the size of the alphabet the data lives in. To account for this, we show that two simple privatization mechanisms, the binary and randomized response mechanisms, are universally optimal in the low and high privacy regimes, and well approximate the intermediate regime.

연구 동기 및 목표

• 데이터 분석에서 국소적 차별적 프라이버시와 통계적 유용도 사이의 근본적 상충 관계를 다루기.
• 국소적 차별적 프라이버시 제약 조건 하에 유용도를 최대화하는 제약 조건이 있는 최적화 문제로 프라이버시-유용도 상충 관계를 공식화하기.
• 이중 정보 이론적 유용도 함수의 광범위한 클래스에 대해 최적의 해를 포함하는 조합적 메커니즘 가족인 계단형 메커니즘을 식별하기.
• 프라이버시-유용도 문제를 해결하는 것이 유한 차원 선형 프로그래밍 문제로 감소함을 입증하기.
• 저프라이버시 및 고프라이버시 영역(낮은 및 높은 ε)에서의 이중 및 랜덤화된 응답 메커니즘의 최적성 특성 규명하기.

제안 방법

• 임의의 출력이 두 입력에 대해 조건부 확률의 비율이 e^ε 이하로 제한되는 조건을 통해 국소적 차별적 프라이버시를 정의하기.
• 구조화된 출력 확률을 가진 조합적 메커니즘 가족으로서 계단형 메커니즘을 도입하기.
• 임의의 유용도 함수 및 프라이버시 수준 ε에 대해 최적의 메커니즘이 유한 차원 선형 프로그래밍의 해임을 증명하기.
• 유용도 함수의 하중선성 성질을 활용하여 데이터 처리 부등식을 수립하고, 후처리가 유용도를 증가시킬 수 없음을 보여주기.
• 작은 ε에서의 유용도의 점근적 행동을 분석하여 랜덤화된 응답의 최적성 조건 유도하기.
• 고프라이버시 영역에서 ε ≥ ε*일 경우 랜덤화된 응답 메커니즘이 상호정보량의 상한선을 달성함을 보여주기.

실험 결과

연구 질문

• RQ1 국소적 차별적 프라이버시 제약 조건 하에 최대 유용도를 달성하는 최적의 프라이버시화 메커니즘은 무엇인가?
• RQ2 계단형 메커니즘이 최적성을 달성하는 유용도 함수의 클래스는 무엇인가?
• RQ3 프라이버시-유용도 최적화 문제는 유한 차원 선형 프로그래밍 문제로 감소시킬 수 있는가?
• RQ4 이중 및 랜덤화된 응답 메커니즘은 저프라이버시 및 고프라이버시 영역에서 항상 최적인가?
• RQ5 중간 프라이버시 영역에서는 간단한 메커니즘이 최적 해를 얼마나 잘 근사하는가?

주요 결과

• 계단형 메커니즘은 상호정보량 및 f-분산과 같은 모든 정보 이론적 유용도에 대해 최적의 프라이버시화 메커니즘을 포함한다.
• 프라이버시-유용도 최대화 문제는 유한 차원 선형 프로그래밍 문제로 동치이며, 최적 해는 계단형 메커니즘이다.
• ε → 0 및 ε → ∞일 경우 이중 및 랜덤화된 응답 메커니즘은 각각 저프라이버시 및 고프라이버시 영역에서 항상 최적이다.
• ε ≥ ε*일 경우 랜덤화된 응답 메커니즘은 상호정보량의 상한선을 달성하여 고프라이버시 영역에서의 최적성을 입증한다.
• 임의의 유용도 함수 및 프라이버시 수준 ε에 대해 최적의 메커니즘은 입력 알파벳 크기의 지수적 변수를 가진 선형 프로그래밍의 해이다.
• 계단형 메커니즘은 모든 프라이버시 수준에서 최적 메커니즘의 완전한 특성화를 제공하며, 중간 영역에서는 단순한 메커니즘이 최적 해를 잘 근사한다.