[논문 리뷰] A Data- and Workload-Aware Algorithm for Range Queries Under Differential Privacy

Chao Li, Michael Hay외 2명|arXiv (Cornell University)|2014. 10. 01.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 7

한 줄 요약

이 논문은 범위 쿼리에 대한 이중 단계적 비밀 보장 알고리즘인 DAWA를 제안한다. DAWA는 데이터 분포와 워크로드에 따라 적응적으로 데이터 도메인을 분할하고 노이즈 스케일링을 조정한다. 데이터에 대한 인지와 워크로드에 대한 인지가 결합된 DAWA는 기존 최고 수준의 방법보다 훨씬 낮은 오차를 달성한다. 특히 균일한 데이터셋에서는 최대 6.86배 더 낮은 오차를 기록한다. 복잡한 데이터셋에서는 데이터에 독립적인 방법과 유사한 성능을 유지한다.

ABSTRACT

We describe a new algorithm for answering a given set of range queries under $ε$-differential privacy which often achieves substantially lower error than competing methods. Our algorithm satisfies differential privacy by adding noise that is adapted to the input data and to the given query set. We first privately learn a partitioning of the domain into buckets that suit the input data well. Then we privately estimate counts for each bucket, doing so in a manner well-suited for the given query set. Since the performance of the algorithm depends on the input database, we evaluate it on a wide range of real datasets, showing that we can achieve the benefits of data-dependence on both "easy" and "hard" databases.

연구 동기 및 목표

• 기존 비밀 보장 메커니즘의 한계를 해결한다. 이는 데이터 구조를 忽시하는 데이터에 독립적인 방법이나, 복잡하고 비균일한 데이터셋에서 실패하는 데이터에 의존적인 방법을 포함한다.
• 데이터 구조를 활용하여 오차를 줄이되, 이용하기 어려운 데이터셋에서 성능을 저하시키지 않는 메커니즘을 개발한다.
• 데이터에 인지된 분할 프레임워크에 워크로드에 인지된 노이즈 할당을 통합하여 범위 쿼리 워크로드의 정확도를 향상시킨다.
• 계산 효율성이 높고, 비밀 보장이 보장되는 분할 알고리즘을 설계하여 데이터 균일성에 적응하고 최적의 버킷 수를 자동으로 선택한다.
• 다양한 데이터 분포에서 데이터에 의존적인 정확도 향상과 강건성을 균형 있게 확보하며, 특히 사전에 데이터 특성이 알려지지 않은 실세계 시나리오에서 유의미한 성능을 달성한다.

제안 방법

• ε₁의 비밀 보장 예산을 사용하여 L1 균일성 편차 기반 비용 함수를 최소화하는 새로운 비밀 보장 알고리즘을 사용해 데이터 도메인을 약간 균일한 영역으로 분할한다.
• 두 번째 단계에서 계층적 쿼리 전략을 적용하여, ε₂의 예산을 사용해 다양한 해상도 수준의 범위 쿼리에 대한 노이즈 스케일링 요소를 계산한다.
• 동일한 계층 수준의 쿼리 간에 비균일한 예산 배분을 도입하여 특정 워크로드에 맞게 정교한 노이즈 할당을 가능하게 한다.
• 워크로드의 구조를 활용하여 노이즈 할당을 이끌어내어 전체 오차에 가장 기여하는 쿼리에 우선순위를 두어 정확도를 향상시킨다.
• 비밀 보장 예산을 ε₁(분할용)과 ε₂(쿼리 추정용)로 나누어 전체적으로 ε-비밀 보장을 확보하며, 복합 정리에 의해 공식적인 비밀 보장 보장을 확보한다.
• 계층적 측정 시스템을 통해 버킷 수의 비밀 보장 추정을 수행하고, 노이즈가 첨부된 답변과 최소 제곱 추론을 조합하여 일관된 추정치를 생성한다.

(b) Algorithm flow chart

실험 결과

연구 질문

• RQ1 다양한 실세계 데이터셋에서 기존의 데이터에 독립적 또는 데이터에 의존적인 방법보다 비밀 보장 메커니즘이 현저히 낮은 오차를 달성할 수 있는가?
• RQ2 데이터에 인지된 분할과 워크로드에 인지된 노이즈 할당을 어떻게 융합하여 비밀 보장 하에 범위 쿼리의 정확도를 향상시킬 수 있는가?
• RQ3 데이터에 의존적인 메커니즘의 성능은 복잡하고 비균일한 데이터셋에서 얼마나 떨어지며, 이를 완화할 수 있는가?
• RQ4 계층적 쿼리 간에 적응적이고 비균일한 노이즈 할당이 전체 워크로드 오차에 어떤 영향을 미치는가?
• RQ5 사용자 지정 매개변수인 k와 같은 사전 설정이 필요 없이 메커니즘이 최적의 분할 수를 자동으로 선택할 수 있는가?

주요 결과

• 큰 균일 영역을 포함한 데이터셋에서는 DAWA가 최고 수준의 데이터에 의존적 방법인 MWEM보다 평균 쿼리 오차를 최대 6.86배까지 감소시킨다.
• 복잡한 데이터셋인 HEP-PH 인용 네트워크에서는 ε=0.1일 때 DAWA의 평균 쿼리 오차가 722.3으로, 데이터에 독립적인 Privelet 메커니즘의 196.6과 유사한 성능을 기록한다.
• IP 수준의 네트워크 트레이스 데이터셋에서는 DAWA가 데이터에 독립적인 Privelet 메커니즘보다 3.27배 더 낮은 오차를 기록하여 실세계 데이터에서 이용 가능한 구조를 효과적으로 활용함을 보여준다.
• 비밀 보장 분할 알고리즘은 P-HP와 StructureFirst와 같은 기존 방법보다 더 높은 품질의 분할을 생성하며, 더 뛰어난 균일성과 낮은 비용을 기록한다. 이는 준선형 시간 내에 실행된다.
• DAWA의 워크로드에 인지된 노이즈 할당은 동일한 계층 수준의 쿼리 간 비균일한 예산 분배를 가능하게 하여 균일한 할당 전략보다 더 정확한 추정치를 도출한다.
• 메커니즘은 두 가지 모두의 장점을 확보한다: 쉬운 데이터셋에서는 높은 정확도를, 어려운 데이터셋에서는 강건한 성능을 유지하며, 데이터 복잡성에 대한 사전 지식이 필요로 하지 않는다.

Figure 2: Scaling allocation for the second level. $\lambda=0.5$ at the left node, and $\lambda=0.3$ at the right node.