[논문 리뷰] Fine-grained Poisoning Attack to Local Differential Privacy Protocols for Mean and Variance Estimation

Xiaoguang Li, Ninghui Li외 3명|arXiv (Cornell University)|2022. 05. 24.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 국소적 차별적 프라이버시(LDP) 프로토콜에서 편향된 출력 영역에 악성 출력을 조작함으로써 평균과 분산 추정치를 미세 조절할 수 있는 출력 풀링 공격(OPA)을 제안한다. OPA는 더 적은 수의 위조 사용자가 필요로 하며, 기존의 입력 풀링 공격보다 뛰어난 성능을 보이며, 더 높은 프라이버시 예산(낮은 노이즈)일수록 공격 효과가 감소하는 반직관적인 보안-프라이버시 일致성을 드러낸다.

ABSTRACT

Although local differential privacy (LDP) protects individual users' data from inference by an untrusted data curator, recent studies show that an attacker can launch a data poisoning attack from the user side to inject carefully-crafted bogus data into the LDP protocols in order to maximally skew the final estimate by the data curator. In this work, we further advance this knowledge by proposing a new fine-grained attack, which allows the attacker to fine-tune and simultaneously manipulate mean and variance estimations that are popular analytical tasks for many real-world applications. To accomplish this goal, the attack leverages the characteristics of LDP to inject fake data into the output domain of the local LDP instance. We call our attack the output poisoning attack (OPA). We observe a security-privacy consistency where a small privacy loss enhances the security of LDP, which contradicts the known security-privacy trade-off from prior work. We further study the consistency and reveal a more holistic view of the threat landscape of data poisoning attacks on LDP. We comprehensively evaluate our attack against a baseline attack that intuitively provides false input to LDP. The experimental results show that OPA outperforms the baseline on three real-world datasets. We also propose a novel defense method that can recover the result accuracy from polluted data collection and offer insight into the secure LDP design.

연구 동기 및 목표

• 기존의 데이터 풀링 공격가 LDP 프로토콜에서 평균과 분산 추정치를 정밀하게 제어할 수 없는 격차를 해결하기 위해.
• 공격자가 LDP 기반의 평균과 분산 추정에서 특정 타겟 값으로 통계 추정치를 미세 조절할 수 있는지 여부와 방법을 조사하기 위해.
• LDP 추정치 조작에서 출력 영역 풀링과 입력 영역 풀링의 효과성과 효율성을 평가하기 위해.
• 프라이버시 예산이 공격 성공에 미치는 영향을 탐구하고, 반직관적인 보안-프라이버시 일치성을 드러내기 위해.
• 오염된 LDP 데이터 컬렉션으로부터 정확한 추정치를 복구할 수 있는 새로운 방어 메커니즘을 제안하기 위해.

제안 방법

• 공격은 LDP 편향 영역의 출력 도메인에서 위조 데이터를 생성하여 국소 랜덤라이제이션 단계를 우회하고 최종 추정치를 직접 조작한다.
• 공격자는 평균과 분산의 이중 조작을 동시에 해결하는 방정식 문제로 간주하여 제어된 사용자 간의 위조 데이터 생성을 조율한다.
• 공격자는 공개된 역사적 통계와 예측 가능한 데이터 추세를 활용하여 기저 진실값을 추정하고 조작 타겟 값을 설정한다.
• OPA는 Stochastic Rounding(SR)과 Piecewise Mechanism(PM)이라는 두 가지 최첨단 LDP 프로토콜에 적용되며, 알려진 편향 함수를 사용한다.
• 공격 성공을 위한 이론적 조건을 유도하고, 목표 추정치를 달성하기 위해 필요한 위조 사용자 수의 하한을 계산한다.
• 집계된 출력 내 통계적 일관성의 불일치를 분석하여 오염된 데이터를 탐지하고 수정하는 새로운 방어 기법을 제안한다.

실험 결과

연구 질문

• RQ1 공격자가 단일 공격 벡터를 사용하여 LDP 프로토콜에서 평균과 분산 추정치를 정밀하게 제어할 수 있는가?
• RQ2 출력 영역 풀링과 입력 영역 풀링 간의 효율성과 효과성은 평균과 분산 추정에 있어 어떻게 비교되는가?
• RQ3 프라이버시 예산(epsilon)은 LDP에서의 데이터 풀링 공격 성공에 영향을 미치는가? 그리고 보안-프라이버시 일치성이 존재하는가?
• RQ4 OPA 하에서 목표 평균과 분산 타겟을 달성하기 위해 필요한 최소 위조 사용자 수는 얼마인가?
• RQ5 오염된 LDP 데이터 컬렉션에서 정확한 통계 추정치를 복구할 수 있는 방어 기법을 설계할 수 있는가?

주요 결과

• OPA는 세 개의 실세계 데이터셋에서 기존의 입력 풀링 공격(IPA)보다 뛰어나며, 더 적은 수의 위조 사용자로 목표 평균과 분산을 달성한다.
• 공격은 다양한 프라이버시 예산에서 효과적이지만, 성공률은 프라이버시 손실과 반비례한다—더 높은 프라이버시(작은 ε)일수록 공격 효과가 감소한다.
• 반직관적인 보안-프라이버시 일치성이 관찰된다: 프라이버시가 증가할수록 풀링 공격에 대한 저항력이 증가하며, 기존의 프라이버시-유용성 트레이드오프와 배치된다.
• 이론적 분석을 통해 OPA는 목표 추정치를 달성하기 위해 필요한 위조 사용자 수의 하한이 존재하며, 이는 같은 목표를 달성하기 위해 IPA가 요구하는 수치보다 작음을 입증한다.
• 제안된 방어 기법은 오염된 데이터에서 정확한 통계 추정치를 성공적으로 복구하여 실용적 저항성을 입증한다.
• 공격은 빈도 추정, 분포 추정, 그래프 통계를 포함한 다른 LDP 프로토콜로도 확장 가능하여 광범위한 위협 영향을 나타낸다.