[논문 리뷰] Iterative Constructions and Private Data Release

Anupam Gupta, Aaron Roth외 1명|arXiv (Cornell University)|2011. 07. 19.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 14

한 줄 요약

이 논문은 반복적 데이터베이스 구축(IDC) 알고리즘을 사용하여 다양한 쿼리의 비밀 보장 쿼리 공개를 위한 일반적인 프레임워크를 제안한다. 이는 상호작용형 및 비상호작용형 환경에서 모두 더 높은 정확도를 달성할 수 있도록 한다. Frieze-Kannan 저랭크 행렬 분해를 기반으로 한 새로운 IDC 알고리즘을 제시하여 조밀한 그래프에서 모든 컷 쿼리를 공개할 때 더 나은 오차 한계를 달성하며, O(|V|^{1.5}) 오차를 가진 비상호작용형 합성 데이터 생성 방법도 제안한다. 또한 향후 향상 가능성을 위한 핵심 열린 문제로 비밀 보장 랭크-1 행렬 근사화를 규명한다.

ABSTRACT

In this paper we study the problem of approximately releasing the <em>cut function</em> of a graph while preserving differential privacy, and give new algorithms (and new analyses of existing algorithms) in both the interactive and non-interactive settings. Our algorithms in the interactive setting are achieved by revisiting the problem of releasing differentially private, approximate answers to a large number of queries on a database. We show that several algorithms for this problem fall into the same basic framework, and are based on the existence of objects which we call <em>iterative database construction</em> algorithms. We give a new generic framework in which new (efficient) IDC algorithms give rise to new (efficient) interactive private query release mechanisms. Our modular analysis simplifies and tightens the analysis of previous algorithms, leading to improved bounds. We then give a new IDC algorithm (and therefore a new private, interactive query release mechanism) based on the Frieze/Kannan low-rank matrix decomposition. This new release mechanism gives an improvement on prior work in a range of parameters where the size of the database is comparable to the size of the data universe (such as releasing all cut queries on dense graphs). We also give a non-interactive algorithm for efficiently releasing private <em>synthetic data</em> for graph cuts with error <em>O</em>(|<em>V</em>|1.5). Our algorithm is based on randomized response and a non-private implementation of the SDP-based, constant-factor approximation algorithm for cut-norm due to Alon and Naor. Finally, we give a reduction based on the IDC framework showing that an efficient, private algorithm for computing sufficiently accurate rank-1 matrix approximations would lead to an improved efficient algorithm for releasing private synthetic data for graph cuts. We leave finding such an algorithm as our main open problem.

연구 동기 및 목표

• 그래프에서 모든 컷 쿼리를 비밀 보장으로 공개하는 문제에 대응하기 위해.
• 기존의 비밀 보장 쿼리 공개 메커니즘을 일반화하고 정확도 한계를 향상시키는 통합 프레임워크를 개발하기 위해.
• 컷 함수를 약간씩 유지하는 비밀 보장 합성 그래프를 효율적으로 생성하는 비상호작용 알고리즘을 설계하기 위해.
• 비밀 보장 랭크-1 행렬 근사화를 향후 향상 가능성을 위한 핵심 열린 문제로 규명하기 위해.

제안 방법

• 비밀 보장 쿼리 공개를 위한 통합 추상화로 반복적 데이터베이스 구축(IDC) 알고리즘의 개념을 도입한다.
• 선형 쿼리의 효율적 근사화를 위해 Frieze-Kannan 저랭크 행렬 분해를 기반으로 한 새로운 IDC 알고리즘을 개발한다.
• IDC 프레임워크를 적용하여 상호작용형 및 비상호작용형 쿼리 공개 메커니즘의 정확도 한계를 향상시킨다.
• 무작위 응답과 비사전적 SDP 기반 컷-노름 근사화를 조합하여 O(|V|^{1.5}) 오차를 가진 비상호작용형 비밀 보장 합성 그래프를 구축한다.
• 컷을 위한 비밀 보장 합성 데이터 생성 문제를 효율적이고 비밀 보장 랭크-1 행렬 근사화 알고리즘의 존재로 환원한다.
• 비밀 보장 오라클 액세스와 라플라스 노이즈를 사용하는 구분자 기반 메커니즘을 활용하여 비밀 보장을 보장한다.

실험 결과

연구 질문

• RQ1 일반적인 프레임워크가 기존의 선형 쿼리에 대한 비밀 보장 쿼리 공개 메커니즘의 분석을 통합하고 향상시킬 수 있는가?
• RQ2 저랭크 행렬 분해를 어떻게 활용하여 그래프 컷에 대한 더 정확한 비밀 보장 쿼리 공개 알고리즘을 설계할 수 있는가?
• RQ3 그래프 컷을 위한 비상호작용형 비밀 보장 합성 데이터 생성의 최선의 오차 한계는 무엇인가?
• RQ4 비밀 보장 랭크-1 행렬 근사화가 그래프 컷을 위한 개선된 비밀 보장 합성 데이터를 이끌 수 있는가?
• RQ5 효율적이고 비밀 보장된 컷 쿼리 구분자를 설계할 수 있는가? 이는 합성 데이터 생성의 정확도 향상에 기여할 수 있는가?

주요 결과

• 제안된 Frieze-Kannan 기반 IDC 알고리즘은 조밀한 그래프에서 모든 컷 쿼리를 공개할 때 오차 한계 O(|E|^{1/4}|V| / ǫ^{1/2})를 달성하며, 이는 이전 방법보다 향상된 성능을 보인다.
• 무작위 응답과 Alon-Naor의 SDP 기반 컷-노름 근사화를 기반으로 한 비상호작용 메커니즘은 비밀 보장 합성 그래프 생성에서 O(|V|^{1.5}) 오차를 달성한다.
• 일반적인 IDC 프레임워크는 이전 메커니즘인 중앙값과 곱셈 가중치의 분석을 단순화하고 강화하여 더 나은 정확도 한계를 도출한다.
• 곱셈 가중치 IDC를 사용한 (α, β)-정확한 비밀 보장 쿼리 공개 메커니즘은 α = O(ǫ^{-1/2} (Tm log|V| log(1/δ))^{1/4})로 달성되며, 여기서 T는 구분자의 오차 내성이다.
• 효율적인 비밀 보장 랭크-1 행렬 근사화 알고리즘이 존재할 경우 그래프 컷을 위한 개선된 비밀 보장 합성 데이터를 얻을 수 있으며, 이는 핵심 열린 문제로 제안된다.
• 이 프레임워크는 대칭 행렬에 대해 비밀 보장 랭크-1 근사화 문제를 해결할 경우 그래프 컷을 위한 더 나은 비밀 보장 합성 데이터를 직접적으로 도출할 수 있음을 보여준다.