[논문 리뷰] On the Privacy Properties of Variants on the Sparse Vector Technique

Yan Chen, Ashwin Machanavajjhala|arXiv (Cornell University)|2015. 08. 28.

Privacy-Preserving Technologies in Data참고 문헌 5인용 수 24

한 줄 요약

이 논문은 일반화된 개인 정보 기반 임계값 테스팅(GPTT)을 철저히 분석한다. GPTT는 긍정적인 답변의 수에 의존하지 않고 강력한 차별적 프라이버시를 제공한다고 주장하는 희소 벡터 기법의 변종이다. 저자들은 GPTT가 이전 프라이버시 분석의 결함으로 인해 ε-차별적 프라이버시를 만족하지 못함을 입증하며, 새로운 재구성 공격을 통해 적어도 95퍼센트의 정확도로 소수의 셀 값들을 재구성할 수 있음을 보여, GPTT가 개인 정보 기반 데이터 배포에 안전하지 않음을 밝힌다.

ABSTRACT

The sparse vector technique is a powerful differentially private primitive that allows an analyst to check whether queries in a stream are greater or lesser than a threshold. This technique has a unique property -- the algorithm works by adding noise with a finite variance to the queries and the threshold, and guarantees privacy that only degrades with (a) the maximum sensitivity of any one query in stream, and (b) the number of positive answers output by the algorithm. Recent work has developed variants of this algorithm, which we call {\em generalized private threshold testing}, and are claimed to have privacy guarantees that do not depend on the number of positive or negative answers output by the algorithm. These algorithms result in a significant improvement in utility over the sparse vector technique for a given privacy budget, and have found applications in frequent itemset mining, feature selection in machine learning and generating synthetic data. In this paper we critically analyze the privacy properties of generalized private threshold testing. We show that generalized private threshold testing does not satisfy ε-differential privacy for any finite ε. We identify a subtle error in the privacy analysis of this technique in prior work. Moreover, we show an adversary can use generalized private threshold testing to recover counts from the datasets (especially small counts) exactly with high accuracy, and thus can result in individuals being reidentified. We demonstrate our attacks empirically on real datasets.

연구 동기 및 목표

• 최근 제안된 희소 벡터 기법의 변종인 일반화된 개인 정보 기반 임계값 테스팅(GPTT)의 프라이버시 보장을 조사하기 위해.
• 이전 연구에서 제시된 GPTT의 프라이버시 분석에 존재하는 결함을 규명하기 위해.
• GPTT가 민감한 데이터 카운트를 고정밀도로 재구성할 수 있는지 입증하기 위해.
• 실제 개인 정보 기반 데이터 배포 시스템에서 GPTT를 사용할 경우 재식별 위험을 평가하기 위해.

제안 방법

• 저자들은 GPTT의 프라이버시 증명에서 심각한 오류를 밝혀내며, 단일 행의 변경에 대해 출력이 민감하지 않다는 가정이 성립하지 않음을 보였다.
• 이웃하는 데이터베이스의 구체적 예시를 제시하여, GPTT의 출력 분포가 ε-차별적 프라이버시 조건을 위반함을 입증하였다.
• 반복적인 분할과 노이즈가 섞인 카운트 추정을 통해 GPTT의 출력을 활용해 진짜 카운트를 추론함으로써 셀 카운트를 재구성하는 공격 알고리즘을 설계하였다.
• 데이터셋의 구조를 사전에 알지 못하는 조건에서도 작동하는 공격 변형을 제안하였으며, 이는 프라이버시 예산을 분할하여 먼저 분할 영역을 추론하고, 그 다음 평균 카운트를 추정함으로써 카운트를 재구성하는 방식이다.
• 실제 데이터셋(Adult, MedicalCost, Income, HEPTH)을 대상으로 다양한 프라이버시 예산(ε = 1.0, 0.5, 0.1)을 사용하여 재구성 정확도를 측정하기 위해 실증 평가를 수행하였다.
• 공격는 1/ε₂의 스케일을 가진 라플라스 노이즈를 사용하여 각 분할의 총 카운트를 추정한 후, 그룹당 평균 카운트를 반올림하여 개별 셀 카운트를 복원하였다.

실험 결과

연구 질문

• RQ1 일반화된 개인 정보 기반 임계값 테스팅(GPTT)은 어떤 유한한 ε에 대해서도 ε-차별적 프라이버시를 만족하는가?
• RQ2 이전 연구에서 제시된 GPTT의 프라이버시 분석에 존재하는 구체적인 결함는 무엇인가?
• RQ3 공격자가 GPTT의 출력만을 사용하여 데이터셋 내 셀의 진짜 카운트를 재구성할 수 있는가?
• RQ4 GPTT를 사용할 때, 공격자가 소수의 셀(예: [0,5] 범위 내)을 얼마나 정확하게 재구성할 수 있는가?
• RQ5 프라이버시 예산 ε가 재구성 공격의 가능성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 일반화된 개인 정보 기반 임계값 테스팅(GPTT)은 어떤 유한한 ε에 대해서도 ε-차별적 프라이버시를 만족하지 못하며, 이는 이전 연구의 주장과 정면으로 배치된다.
• GPTT의 프라이버시 증명에서 암묵적인 오류로 인해 그 주장하는 프라이버시 보장이 무효화되며, 이는 이웃하는 데이터베이스에서 단일 행의 변경에 대해 출력이 민감하지 않다는 조건이 성립하지 않기 때문이다.
• 공격자는 데이터셋의 구조를 사전에 알지 못하는 조건에서도 소수의 셀(0~5 범위)에 대해 95퍼센트 이상의 정확도로 재구성할 수 있다.
• 실제 데이터셋을 대상으로 한 평가에서, ε = 1.0일 경우 공격는 모든 셀의 90퍼센트 이상을 정확히 재구성하였으며, 동일한 설정에서 소수의 셀에 대해서는 95퍼센트 이상의 정확도를 기록하였다.
• ε가 작아질수록 재구성 정확도가 감소하며, 주로 분할의 해상도가 낮아지고 카운트 추정에 노이즈가 더 많이 포함되기 때문이다.
• 결과적으로 GPTT를 기반으로 한 시스템은 특히 저빈도 데이터에 대해 재식별 공격에 취약함을 입증하였다.