[논문 리뷰] Data Poisoning Attacks to Local Differential Privacy Protocols

Xiaoyu Cao, Jinyuan Jia외 1명|arXiv (Cornell University)|2019. 11. 05.

Privacy-Preserving Technologies in Data참고 문헌 69인용 수 6

한 줄 요약

이 논문은 국소적 차별적 비밀유지(LDP) 프로토콜을 대상으로 한 데이터 풀링 공격을 소개한다. 여기서 악성 당사자는 위장 사용자를 주입하여 고의로 흐트러진 데이터를 전송함으로써 빈도 추정 및 헤비 히터 식별 결과를 조작한다. 제안된 최대 이득 공격(MGA)은 공격을 최적화 문제로 수식화하여, 단지 5%의 위장 사용자만으로도 대상 항목의 빈도를 크게 증가시키며, LDP 설계에서 중요한 보안-비밀유지 상충관계를 드러낸다.

ABSTRACT

Local Differential Privacy (LDP) protocols enable an untrusted data collector to perform privacy-preserving data analytics. In particular, each user locally perturbs its data to preserve privacy before sending it to the data collector, who aggregates the perturbed data to obtain statistics of interest. In the past several years, researchers from multiple communities -- such as security, database, and theoretical computer science -- have proposed many LDP protocols. These studies mainly focused on improving the utility of the LDP protocols. However, the security of LDP protocols is largely unexplored. In this work, we aim to bridge this gap. We focus on LDP protocols for frequency estimation and heavy hitter identification, which are two basic data analytics tasks. Specifically, we show that an attacker can inject fake users into an LDP protocol and the fake users send carefully crafted data to the data collector such that the LDP protocol estimates high frequencies for arbitrary attacker-chosen items or identifies them as heavy hitters. We call our attacks data poisoning attacks. We theoretically and/or empirically show the effectiveness of our attacks. We also explore three countermeasures against our attacks. Our experimental results show that they can effectively defend against our attacks in some scenarios but have limited effectiveness in others, highlighting the needs for new defenses against our attacks.

연구 동기 및 목표

• 국소적 차별적 비밀유지(LDP) 프로토콜의 비밀유지 보장을 넘어서 보안 취약성을 조사하기 위해.
• 악성 당사자가 위장 사용자 주입을 통해 LDP 분석 결과를 조작할 수 있는지 확인하기 위해.
• 이러한 풀링 공격의 영향을 극대화하기 위한 체계적이고 최적화 기반의 방법을 개발하기 위해.
• 실제 세계 시나리오에서 기존 대응 조치의 효과성을 평가하기 위해.
• 악성 데이터 풀링 공격 하에서 LDP 프로토콜의 근본적인 보안-비밀유지 상충관계를 폭 드러내기 위해.

제안 방법

• 대상 항목의 빈도 증가를 극대화하기 위해 데이터 풀링을 최적화 문제로 수식화함으로써 최대 이득 공격(MGA)을 도출함.
• 이론적 분석을 통해 MGA 하에서 대상 항목의 빈도 증가를 유도하며, 모든 공격 전략 중에서 가장 높은 가능성을 갖는 것으로 입증함.
• MGA 성능과 비교를 위해 위장 사용자로부터 무작위로 작성된 데이터를 사용하는 두 가지 기준 공격을 도입함.
• 빈도 추정을 위한 kRR, OUE, OLH와 헤비 히터 식별을 위한 PEM을 포함한 네 가지 최신 LDP 프로토콜에 MGA 및 기준 공격을 적용함.
• 통계 패턴 탐지, 작업 증명(Proof-of-Work), SMPC 기반 완화 조치를 포함한 방어 조치를 평가하며, 그 실현 가능성과 한계를 분석함.
• 확률 기반 조건부 탐지 방법을 제안하여, 흐트러진 벡터 패턴 분석을 통해 위장 사용자를 식별함.

실험 결과

연구 질문

• RQ1 악성 당사자가 고의로 작성된 데이터를 가진 위장 사용자를 주입함으로써 LDP 기반의 빈도 추정 및 헤비 히터 식별 결과를 조작할 수 있는가?
• RQ2 최적화 기반의 최대 이득 공격(MGA)은 무작위 기준 공격에 비해 효과성 면에서 어떻게 비교되는가?
• RQ3 LDP 프로토콜에서 비밀유지 보장과 데이터 풀링 공격에 대한 보안 간의 근본적인 관계는 무엇인가?
• RQ4 정규화, 작업 증명(Proof-of-Work), 통계 탐지와 같은 기존 대응 조치는 MGA에 대해 얼마나 효과적인가?
• RQ5 이 공격은 SMPC 기반 또는 셰플링 기반 LDP 프로토콜으로 일반화될 수 있으며, 그 한계는 무엇인가?

주요 결과

• 이론적으로 증명된 linemapping에 따르면, 최대 이득 공격(MGA)은 모든 가능한 공격 전략 중에서 대상 항목의 빈도 증가를 가장 극대화함.
• 단지 5%의 위장 사용자만으로도, 테스트한 세 데이터셋 전역에서 10개의 무작위 선택된 대상 항목이 상위 15개 헤비 히터로 오인되는 데 성공함.
• 기본적인 보안-비밀유지 상충관계 존재: 더 강력한 비밀유지 보장(예: 높은 에프스ILON)을 제공하는 프로토콜일수록 데이터 풀링 공격에 더 취약함.
• OUE와 OLH는 MGA에 대해 유사한 보안 수준을 보이며, 항목 수가 임계값을 초과할 경우 kRR는 OUE 및 OLH보다 보안 수준이 낮음.
• 기존 대응 조치인 정규화 및 통계 탐지의 효과는 제한적이며, 특히 공격자가 방어 조치에 적응할 경우 더욱 두드러짐. 이는 더 강력하고 새로운 방어 조치가 필요함을 시사함.