[논문 리뷰] Low-Rank Mechanism: Optimizing Batch Queries under Differential Privacy

Ganzhao Yuan, Zhenjie Zhang외 4명|arXiv (Cornell University)|2012. 08. 01.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 10

한 줄 요약

이 논문은 저랭크 근사화된 워크로드 행렬을 활용하여 배치 선형 카운팅 쿼리에 대해 최적화하는 새로운 차별적 비밀보장 쿼리 처리 기법인 저랭크 메커니즘(Low-Rank Mechanism, LRM)을 제안한다. LRM은 상관관계를 고려한 쿼리 처리를 통해 노이즈를 최소화하여 기존 최고 수준의 방법들보다 훨씬 높은 정확도를 달성하며, ǫ-차별적 비밀보장 하에서 배치 쿼리 워크로드의 이론적 오차 하한에 근접함을 입증한다.

ABSTRACT

Differential privacy is a promising privacy-preserving paradigm for statistical query processing over sensitive data. It works by injecting random noise into each query result, such that it is provably hard for the adversary to infer the presence or absence of any individual record from the published noisy results. The main objective in differentially private query processing is to maximize the accuracy of the query results, while satisfying the privacy guarantees. Previous work, notably the matrix mechanism, has suggested that processing a batch of correlated queries as a whole can potentially achieve considerable accuracy gains, compared to answering them individually. However, as we point out in this paper, the matrix mechanism is mainly of theoretical interest; in particular, several inherent problems in its design limit its accuracy in practice, which almost never exceeds that of naive methods. In fact, we are not aware of any existing solution that can effectively optimize a query batch under differential privacy. Motivated by this, we propose the Low-Rank Mechanism (LRM), the first practical differentially private technique for answering batch queries with high accuracy, based on a low rank approximation of the workload matrix. We prove that the accuracy provided by LRM is close to the theoretical lower bound for any mechanism to answer a batch of queries under differential privacy. Extensive experiments using real data demonstrate that LRM consistently outperforms state-of-the-art query processing solutions under differential privacy, by large margins.

연구 동기 및 목표

• 차별적 비밀보장 하에서 실용적이고 높은 정확도를 갖는 배치 쿼리 최적화 방법의 부족을 해결하기 위해.
• 이론적으로는 유망하지만 실용적 정확도가 떨어지는 기존 메커니즘들(예: 행렬 메커니즘)의 한계를 극복하기 위해.
• 쿼리 간 상관관계를 효과적으로 활용하여 노이즈 주입을 최소화하면서도 강력한 비밀보장 보장을 유지하는 방법을 개발하기 위해.
• 이론적 오차 하한에 근접하는 실용적이고 확장 가능한 솔루션을 제공하여 ǫ-차별적 비밀보장 하에서의 배치 쿼리 처리에 기여하기 위해.

제안 방법

• LRM은 행렬 분해를 통해 워크로드 행렬을 저랭크 근사로 모델링하여 W = CA 형태의 두 개의 더 작은 행렬로 분해한다.
• 전체 쿼리 세트가 아닌 저랭크 구성요소(C와 A)에 대해 라플라스 메커니즘을 적용함으로써 총 노이즈 분산을 감소시킨다.
• 저랭크 구성요소의 민감도에 기반하여 최적의 노이즈 분산을 계산하여 총 기대 제곱오차를 최소화한다.
• 볼록 최적화 기법을 사용하여 주어진 워크로드에 대해 기대 오차를 최소화하는 최적의 저랭크 근사를 계산한다.
• 저랭크 구조를 통해 워크로드 쿼리의 전반적인 민감도를 제한함으로써 ǫ-차별적 비밀보장을 보장한다.
• LRM는 효율적이고 확장 가능하도록 설계되어 도메인 크기와 쿼리 수가 큰 실세계 워크로드에 적합하다.

실험 결과

연구 질문

• RQ1 실용적인 차별적 비밀보장 메커니즘을 설계하여 기존 방법들보다 배치 선형 쿼리의 정확도 면에서 크게 뛰어나게 할 수 있는가?
• RQ2 워크로드 행렬의 저랭크 구조를 활용할 경우, 차별적 비밀보장 하에서 노이즈 감소와 정확도 향상에 어느 정도 기여하는가?
• RQ3 쿼리 수, 도메인 크기, 워크로드 랭크가 변화함에 따라 LRM의 성능은 기존 최고 수준의 메커니즘들과 비교해 어떻게 변화하는가?
• RQ4 LRM의 오차는 어떤 차별적 비밀보장 메커니즘이나 배치 쿼리 처리에 대해 이론적 오차 하한에 수렴하는가?
• RQ5 워크로드 행렬의 저랭크 성질이 LRM이 달성하는 오차 감소에 어떤 영향을 미치는가?

주요 결과

• LRM은 대규모 워크로드에서 평균 제곱오차 면에서 라플라스 메커니즘, 행렬 메커니즘, 워크로드 최적 메커니즘을 모두 초월하여 오차가 두 개의 주기 이상 감소한다.
• 자연스럽게 저랭크 성질을 띠는 WRelated 워크로드에서는 도메인 크기가 8192에 도달함에 따라 LRM이 두 개의 주기 이상 성능 향상을 기록한다.
• 쿼리 수 m이 도메인 크기 n에 비해 작을 경우, LRM은 WRange와 WRelated 워크로드에서 효과적인 상관관계 활용 덕분에 다른 방법들보다 뚜렷한 성능 향상을 보인다.
• 워크로드 행렬의 랭크가 증가함에 따라 LRM의 오차가 급격히 증가함을 확인하여, LRM의 이점이 쿼리 워크로드의 저랭크 성질에 직접적으로 의존함을 입증한다.
• LRM의 성능은 워크로드 행렬의 랭크에 대해 선형적으로 증가함을 통해, 오차 최소화 전략의 이론적 기반을 검증한다.
• 모든 테스트된 실세계 데이터셋(Search Logs, NetTrace, Social Network)에서 LRM은 모든 설정과 비밀보장 예산에서 가장 낮은 평균 제곱오차를 기록한다.