[논문 리뷰] Poisoning Attacks to Local Differential Privacy Protocols for Key-Value Data

Yongji Wu, Xiaoyu Cao외 2명|arXiv (Cornell University)|2021. 11. 22.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 10

한 줄 요약

이 논문은 키-값 데이터를 위한 국소적 차별적 프라이버시(LDP) 프로토콜을 대상으로 하는 새로운 오염 공격을 제안하며, 공격을 목표 키의 추정 빈도와 평균 값을 동시에 증가시키는 이목적 최적화 문제로 공식화한다. 제안된 최대 이득 공격(M2GA)은 분석 결과를 효과적으로 조작하며, 기존 LDP 프로토콜에 심각한 취약성을 드러내지만, 두 가지 탐지 방식은 제한적인 효과를 보였다.

ABSTRACT

Local Differential Privacy (LDP) protocols enable an untrusted server to perform privacy-preserving, federated data analytics. Various LDP protocols have been developed for different types of data such as categorical data, numerical data, and key-value data. Due to their distributed settings, LDP protocols are fundamentally vulnerable to poisoning attacks, in which fake users manipulate the server's analytics results via sending carefully crafted data to the server. However, existing poisoning attacks focused on LDP protocols for simple data types such as categorical and numerical data, leaving the security of LDP protocols for more advanced data types such as key-value data unexplored. In this work, we aim to bridge the gap by introducing novel poisoning attacks to LDP protocols for key-value data. In such a LDP protocol, a server aims to simultaneously estimate the frequency and mean value of each key among some users, each of whom possesses a set of key-value pairs. Our poisoning attacks aim to simultaneously maximize the frequencies and mean values of some attacker-chosen target keys via sending carefully crafted data from some fake users to the sever. Specifically, since our attacks have two objectives, we formulate them as a two-objective optimization problem. Moreover, we propose a method to approximately solve the two-objective optimization problem, from which we obtain the optimal crafted data the fake users should send to the server. We demonstrate the effectiveness of our attacks to three LDP protocols for key-value data both theoretically and empirically. We also explore two defenses against our attacks, which are effective in some scenarios but have limited effectiveness in other scenarios. Our results highlight the needs for new defenses against our poisoning attacks.

연구 동기 및 목표

• 키-값 데이터를 위한 국소적 차별적 프라이버시(LDP) 프로토콜의 보안 격차를 해결하기 위해, 이는 이전 연구에서 다루지 않은 오염 공격에 취약하지만, 보안 격차를 해결하고자 한다.
• 공격자가 위조된 사용자를 주입하여 고의로 구성된 키-값 쌍을 전송하여, 목표 키의 추정 빈도와 평균 값을 동시에 증가시켜 LDP 분석 결과를 조작할 수 있는 방법을 탐구하고자 한다.
• 이러한 오염 공격의 근본이 되는 이목적 최적화 문제를 체계적으로 공식화하고 해결하는 방법을 개발하고자 한다.
• 기존 방어 기법이 제안된 공격에 대해 얼마나 효과적인지 평가하고, 실제 환경에서의 한계를 규명하고자 한다.

제안 방법

• 공격을 목표 키의 기대 빈도 증가와 기대 평균 증가를 최대화하는 이목적 최적화 문제로 공식화한다.
• 위조 사용자가 전송할 최적의 데이터를 유도하기 위해, 두 목표 최적화 문제를 근사적으로 해결하는 최대 이득 공격(M2GA) 방법을 제안한다.
• 빈도 증가와 평균 증가를 각각 공격 전후의 추정 통계 간 차이로 정의하며, LDP 프로토콜의 난수성에 대한 기대값을 고려한다.
• 탐지 기반 방어 기법을 구현: 이방류 수세기(OC) 및 이상점 점수 기반 방어(AS)로, 라운드 간 사용자 행동을 모니터링하여 의심스러운 사용자를 탐지한다.
• 각 라운드당 사용자별 최대 키 빈도 수를 기반으로 이상점 점수를 정의하며, 점수가 임계값 η를 초과하면 사용자를 위조로 간주한다.
• 탐지된 위조 사용자를 이후 집계 라운드에서 제외하고, 정제된 데이터를 바탕으로 빈도와 평균을 재추정한다.

실험 결과

연구 질문

• RQ1 LDP 프로토콜에 대해 키-값 데이터를 대상으로 오염 공격을 효과적으로 시행할 수 있는가? 이는 목표 키의 추정 빈도와 평균 값을 동시에 증가시킬 수 있는가?
• RQ2 이목적 최적화 공식화가 키-값 LDP 프로토콜에서 빈도와 평균 조작이라는 이중 목표를 어떻게 잘 반영하는가?
• RQ3 OC 및 AS와 같은 기존 방어 기법이 다양한 프로토콜 유형과 파rameter 설정에서 제안된 오염 공격을 어느 정도 완화하는가?
• RQ4 현재 방어 기법은 키-값 LDP 프로토콜에 대한 정교한 오염 공격을 다루는 데 어떤 한계를 지니는가?

주요 결과

• M2GA 공격은 이론적 및 실증적 평가에서 세 가지 LDP 프로토콜(PCKV-UE, PCKV-GRR, PrivKVM) 전반에서 목표 키의 추정 빈도와 평균 값을 성공적으로 증가시켰다.
• 평가된 두 가지 방어 기법 중 OC는 높은 가짜 양성률(예: PCKV-UE의 경우 22%)을 보였으며, 이는 진짜 사용자를 제외시켜 유용성 손실을 초래했다.
• β가 작거나 r가 클 경우 OC는 위조 사용자를 효과적으로 탐지하지 못해 높은 가짜 음성률을 보였고, 이로 인해 M2GA 공격가 성공했다.
• 이상점 점수(AS)는 β 또는 r가 작을 경우 효과적이었으며, M2GA의 빈도 및 평균 증가를 거의 0에 가깝게 줄였지만, β 또는 r가 클 경우 효과를 상실했다.
• 기본 설정(β=0.05, r=2)에서 PCKV-GRR의 OC는 5.5%의 가짜 양성률과 공격 하에서 -1.04의 평균 증가를 기록하여, 방어 기법이 유용성을 떨어뜨렸음을 시사했다.
• 결과적으로 현재의 방어 기법은 부족하며, 키-값 데이터를 위한 LDP 프로토콜을 보호하기 위해 새로운 강력한 방어 기법이 긴급히 필요하다.