[논문 리뷰] Efficient Batch Query Answering Under Differential Privacy

Chao Li, Gerome Miklau|arXiv (Cornell University)|2011. 03. 07.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 6

한 줄 요약

이 논문은 비차별적 개인정보 보호에서 매트릭스 메커니즘을 위한 근사 최적 전략 쿼리 계산을 위한 효율적인 알고리즘인 LSA(Low-rank Strategy Approximation)를 제안한다. 이는 배치 쿼리 응답에서 오차를 크게 감소시키며, 작업량의 스펙트럼적 성질을 활용하고 특이값 분해를 통해 최적 전략을 근사함으로써 이론적 최적값의 1.26배 이내의 오차를 달성한다. 이는 특히 고차원에서 이전 방법들인 웨이블릿과 비교해 최대 10배 향상된 성능을 보여준다.

ABSTRACT

Differential privacy is a rigorous privacy condition achieved by randomizing query answers. This paper develops efficient algorithms for answering multiple queries under differential privacy with low error. We pursue this goal by advancing a recent approach called the matrix mechanism, which generalizes standard differentially private mechanisms. This new mechanism works by first answering a different set of queries (a strategy) and then inferring the answers to the desired workload of queries. Although a few strategies are known to work well on specific workloads, finding the strategy which minimizes error on an arbitrary workload is intractable. We prove a new lower bound on the optimal error of this mechanism, and we propose an efficient algorithm that approaches this bound for a wide range of workloads.

연구 동기 및 목표

• 임의의 작업량에 대해 비차별적 개인정보 보호에서의 오차를 최소화하는 데 도전한다.
• 매트릭스 메커니즘의 최적 전략을 계산하는 데 있어 비가역성 문제를 해결하기 위해 계산 가능하고 효과적인 근사 알고리즘을 설계한다.
• 웨이블릿과 계층적 트리와 같은 기존 전략들을 초월하여, 작업량의 특정 구조에 맞게 전략을 적응시킴으로써 성능을 향상시킨다.
• 작업량 분리 및 일반화 기법을 통해 매트릭스 메커니즘을 대규모 고차원 작업량에 효율적으로 구현할 수 있도록 한다.
• ($\epsilon,\delta$)-비차별적 개인정보 보호가 $\epsilon$-비차별적 개인정보 보호보다 전략 설계에서 더 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 작업량 행렬의 절단된 특이값 분해(SVD)를 사용하여 매트릭스 메커니즘의 최적 전략 행렬을 근사하는 LSA 알고리즘을 제안한다.
• 스펙트럼 분석을 통해 비차별적 개인정보 보호 하에서 기대 오차를 최소화하는 데 사용할 수 있는 작업량의 저랭크 성분을 식별한다.
• 대규모 고차원 작업량을 더 작은 하위 작업량으로 분해함으로써 확장 가능한 전략 계산을 가능하게 하는 작업량 분리를 적용한다.
• 샘플링을 통해 도메인 크기를 줄임으로써 대규모 도메인에서도 효율적인 전략 계산을 가능하게 하되 정확도를 유지하는 작업량 일반화를 도입한다.
• 왜곡된 전략 쿼리 결과로부터 최종 작업량 답변을 선형 회귀를 통해 추론함으로써 재현성과 오차 감소를 보장한다. 이는 冗餘성의 활용에 기반한다.
• 최적 오차가 작업량 행렬의 특이값의 제곱합으로 유 bounds 되며, 이는 전략 품질 평가의 기준이 된다고 활용한다.

실험 결과

연구 질문

• RQ1 어떤 주어진 작업량에 대해 이론적 최적 오차 경계에 근접하는 전략을 계산할 수 있는 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 LSA 알고리즘의 성능은 다양한 작업량 유형과 차원에서 기존 전략인 웨이블릿과 계층적 트리와 비교해 어떻게 되는가?
• RQ3 작업량 분리 및 일반화 기법을 통해 계산 비용을 얼마나 줄일 수 있으며, 오차 성능에 상당한 영향을 주지 않는가?
• RQ4 ($\epsilon,\delta$)-비차별적 개인정보 보호는 오차와 효율성 측면에서 $\epsilon$-비차별적 개인정보 보호보다 더 나은 전략 설계를 가능하게 하는가?
• RQ5 작업량의 스펙트럼적 구조는 비차별적 개인정보 보호 쿼리 응답에서 달성 가능한 오차에 어떤 영향을 미치는가?

주요 결과

• LSA 알고리즘은 이론적 최적 경계의 1.26배 이내의 전략 오차를 달성하며, 고차원 작업량에서 웨이블릿(4.17×)과 계층적 트리(1.78×) 전략보다 뚜렷이 뛰어나다.
• 32×32 도메인에서 $\textsc{AllRange}(16,8,8)$ 작업량에 대해 LSA는 오차를 최적 경계의 1.07배로 줄였고, 웨이블릿 전략 대비 3.9배 향상된 성능을 보였다.
• 높은 평균 커버리지가 있는 랜덤 범위 쿼리 작업량에서는 LSA가 웨이블릿 전략 대비 오차를 한 단계 이상 감소시켰다.
• 작업량 분리를 통해 LSA의 실행 시간을 32×32 도메인에서 5079초에서 2.44초로 줄였으며, 오차 페널티는 극히 미미했다.
• 도메인 크기가 1024인 경우 작업량 일반화를 통해 계산 비용을 18배 감소시켰고, 거의 최적의 오차 성능을 유지했다.
• 이론적 분석을 통해 매트릭스 메커니즘 하에서 최적 오차가 작업량 행렬의 특이값의 제곱합으로 유 bounds 되며, 이는 전략 품질 평가의 기준이 된다고 확인했다.