[논문 리뷰] When the signal is in the noise: Exploiting Diffix's Sticky Noise

Andrea Gadotti, Florimond Houssiau외 3명|arXiv (Cornell University)|2018. 04. 18.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 EU 개인정보 보호 기준을 충족한다고 주장하는 쿼리 기반 익명화 시스템인 Diffix가 소음 이용 공격에 취약하다는 것을 입증한다. 저자들은 Diffix의 쿼리 응답에 포함된 데이터에 의존하는 '스티키 소음'을 분석함으로써, 이전에 상상할 수 없었던 것보다 훨씬 적은 수의 쿼리로도 개인 정보를 포함한 특성을 최대 97.1%의 정확도로 추론할 수 있는 두 가지 공격—차등 공격 및 클로닝 공격—을 개발한다. 이는 Diffix만으로는 강력한 익명화를 보장하지 못함을 보여준다.

ABSTRACT

Anonymized data is highly valuable to both businesses and researchers. A large body of research has however shown the strong limits of the de-identification release-and-forget model, where data is anonymized and shared. This has led to the development of privacy-preserving query-based systems. Based on the idea of "sticky noise", Diffix has been recently proposed as a novel query-based mechanism satisfying alone the EU Article~29 Working Party's definition of anonymization. According to its authors, Diffix adds less noise to answers than solutions based on differential privacy while allowing for an unlimited number of queries. This paper presents a new class of noise-exploitation attacks, exploiting the noise added by the system to infer private information about individuals in the dataset. Our first differential attack uses samples extracted from Diffix in a likelihood ratio test to discriminate between two probability distributions. We show that using this attack against a synthetic best-case dataset allows us to infer private information with 89.4% accuracy using only 5 attributes. Our second cloning attack uses dummy conditions that conditionally strongly affect the output of the query depending on the value of the private attribute. Using this attack on four real-world datasets, we show that we can infer private attributes of at least 93% of the users in the dataset with accuracy between 93.3% and 97.1%, issuing a median of 304 queries per user. We show how to optimize this attack, targeting 55.4% of the users and achieving 91.7% accuracy, using a maximum of only 32 queries per user. Our attacks demonstrate that adding data-dependent noise, as done by Diffix, is not sufficient to prevent inference of private attributes. We furthermore argue that Diffix alone fails to satisfy Art. 29 WP's definition of anonymization. [...]

연구 동기 및 목표

• Diffix의 데이터에 의존하는 소음 메커니즘이 재식별을 방지하기 위해 설계되었지만, 이를 이용해 개인의 비공개 특성을 유추할 수 있는지 조사하기 위해.
• 공격자 지식과 쿼리 접근성에 대한 현실적인 가정 하에 Diffix에 대한 소음 이용 공격의 실현 가능성을 평가하기 위해.
• Diffix가 실질적으로 EU 기준 29차 Working Party의 익명화 정의를 충족하는지 평가하기 위해.
• 차등 개인정보 보호에 의존하지 않고도 익명화 시스템의 보안을 강화하기 위한 방어 전략을 제안하기 위해.

제안 방법

• 보조 정보를 기반으로 샘플된 쿼리 응답에 대한 우도 비율 검정을 사용하여 개인 정보를 유추할 수 있는 차등 소음 이용 공격을 설계하기 위해.
• 가짜 조건을 쿼리에 삽입하여 출력 소음을 조건적으로 변경함으로써, 쿼리 결과 집합을 변경하지 않고도 개인 정보를 유추할 수 있는 클로닝 공격을 개발하기 위해.
• 공격 정확도를 극대화하면서도 각 타겟 사용자당 쿼리 수를 최소화하기 위해 그리디 알고리즘을 사용해 클로닝 공격을 최적화하기 위해.
• 정확도와 쿼리 효율성을 측정하기 위해 실제 세계의 네 가지 데이터셋(예: 이동성, 건강, 인구통계)과 합성 최적 조건 데이터셋을 대상으로 공격을 평가하기 위해.
• Diffix의 스티키 소음 분포를 추정하고 공격 파rameter를 보정하기 위해 통계 모델링을 사용하기 위해.
• 감사 로깅과 입력 검증과 같은 방어 전략 원칙을 적용하여 식별된 공격 벡터를 완화하기 위해.

실험 결과

연구 질문

• RQ1 Diffix의 데이터에 의존하는 소음은 개인 정보를 포함한 특성을 유추하는 데 악용될 수 있는가?
• RQ2 타겟에 대한 보조 정보가 제한적으로 제공될 경우, 추론 공격의 정확도는 어느 정도가 될 수 있는가?
• RQ3 소음 이용 기법을 사용할 때, 개인 정보를 고정정확도로 유추하기 위해 필요한 최소 쿼리 수는 얼마인가?
• RQ4 Diffix의 스티키 소음 메커니즘은 실제로 EU 기준 29차 Working Party의 익명화 정의를 충족하는가?
• RQ5 차등 개인정보 보호에 의존하지 않고도, 방어 전략의 다층적 접근이 소음 이용 공격을 효과적으로 완화할 수 있는가?

주요 결과

• 차등 소음 이용 공격은 합성 최적 조건 데이터셋에서 오직 다섯 개의 보조 특성만을 사용해도 개인 정보 특성을 89.4%의 정확도로 추론한다.
• 클로닝 공격은 네 가지 실제 세계 데이터셋에서 최소 93%의 사용자에 대해 개인 정보 특성을 성공적으로 유추하였으며, 정확도는 93.3%에서 97.1% 사이였다.
• 최적화된 클로닝 공격은 각 사용자당 최대 32개의 쿼리로 55.4%의 사용자에 대해 91.7%의 정확도를 달성했으며, 이는 이전 방법 대비 쿼리 비용을 극적으로 감소시켰다.
• 이 공격들은 데이터에 의존하는 소음, 예를 들어 Diffix의 스티키 소음과 같은 소음이 개인 정보의 유추를 방지하는 데 부족하다는 것을 입증한다.
• Diffix는 소음 이용 공격에 취약하므로, EU 기준 29차 Working Party의 익명화 정의를 충족하지 못한다.
• 비증명 가능한 익명화 시스템과 감사 가능성 및 입력 검증과 같은 방어 전략의 다층적 접근을 조합하면, 차등 개인정보 보호에 의존하지 않고도 보안을 강화할 수 있다.