[논문 리뷰] Pool Inference Attacks on Local Differential Privacy: Quantifying the Privacy Guarantees of Apple's Count Mean Sketch in Practice

Andrea Gadotti, Florimond Houssiau외 2명|arXiv (Cornell University)|2023. 04. 14.

Privacy, Security, and Data Protection인용 수 5

한 줄 요약

이 논문은 국소적 차별적 프라이버시 하에서 애플의 카운트 미디안 스케치(CMS) 메커니즘을 대상으로 하는 새로운 프라이버시 공격인 풀 인퍼런스 공격을 소개한다. 베이지안 모델을 사용하여 저자들은 고도의 프라이버시 예산(ε = 4–8)이 존재하더라도, 반복적인 가공된 데이터 수집을 악용함으로써 악성 당사자가 뉴스 웹사이트에서 사용자의 선호하는 이모지 피부 톤 또는 정치적 성향을 정확하게 유추할 수 있음을 보여준다. 이는 이론적 보장에도 불구하고 실질적인 프라이버시 위험을 드러낸다.

ABSTRACT

Behavioral data generated by users' devices, ranging from emoji use to pages visited, are collected at scale to improve apps and services. These data, however, contain fine-grained records and can reveal sensitive information about individual users. Local differential privacy has been used by companies as a solution to collect data from users while preserving privacy. We here first introduce pool inference attacks, where an adversary has access to a user's obfuscated data, defines pools of objects, and exploits the user's polarized behavior in multiple data collections to infer the user's preferred pool. Second, we instantiate this attack against Count Mean Sketch, a local differential privacy mechanism proposed by Apple and deployed in iOS and Mac OS devices, using a Bayesian model. Using Apple's parameters for the privacy loss $\varepsilon$, we then consider two specific attacks: one in the emojis setting -- where an adversary aims at inferring a user's preferred skin tone for emojis -- and one against visited websites -- where an adversary wants to learn the political orientation of a user from the news websites they visit. In both cases, we show the attack to be much more effective than a random guess when the adversary collects enough data. We find that users with high polarization and relevant interest are significantly more vulnerable, and we show that our attack is well-calibrated, allowing the adversary to target such vulnerable users. We finally validate our results for the emojis setting using user data from Twitter. Taken together, our results show that pool inference attacks are a concern for data protected by local differential privacy mechanisms with a large $\varepsilon$, emphasizing the need for additional technical safeguards and the need for more research on how to apply local differential privacy for multiple collections.

연구 동기 및 목표

• 국소적 차별적 프라이버시 하에서 고도의 프라이버시 예산(이모지의 경우 ε = 4, 웹사이트의 경우 ε = 8)을 사용하는 애플의 카운트 미디안 스케치(CMS) 메커니즘의 실질적 프라이버시 위험을 조사하는 것.
• 사용자가 시간이 지남에 따라 여러 번의 가공된 데이터 포인트를 제출할 경우, 기존의 이론적 프라이버시 보장이 실제 공격에 대해 충분히 보호하지 못함을 보여주는 것.
• 단일 사용자로부터 반복적인 가공된 데이터를 이용해 특정 그룹(예: 피부 톤 또는 정치적 뉴스 사이트)을 선호하는지 유추하는 새로운 공격인 '풀 인퍼런스'를 개발하고 평가하는 것.
• 베이지안 인퍼런스를 사용하여 공격의 효과성을 정량화하고, 이모지 설정에서 실제 트위터 사용자 데이터를 활용해 결과를 검증하는 것.
• 샤플링 또는 믹스 네트워크와 같은 더 강력한 기술적 보안 조치를 제안하고, 반복적인 데이터 수집이 이루어지는 국소적 차별적 프라이버시 시스템에서의 프라이버시 중심 설계 개선이 필요하다는 점을 강조하는 것.

제안 방법

• 악성 당사자가 관심이 있는 상호배타적인 풀(예: 피부 톤 또는 정치적 뉴스 도메인)을 정의하고, 한 사용자로부터 반복적으로 수집된 가공된 데이터를 이용해 그 사용자가 선호하는 풀을 유추하는 새로운 공격 모델인 '풀 인퍼런스 공격'을 제안한다.
• 다양한 데이터 수집 과정에서의 가공된 객체 선택 빈도를 바탕으로, 사용자가 특정 풀을 선호할 가능성의 사후 확률을 계산하기 위해 베이지안 인퍼런스 프레임워크를 사용한다.
• 카운트 미디안 스케치 메커니즘의 통계적 성질에서 유도된 가능도 함수 Pr[A | z]를 사용하여, 사용자의 진짜 선호도 A가 주어졌을 때 특정 가공된 객체 z를 관측할 확률을 모델링한다.
• 애플의 실제 ε 값(4와 8)을 사용하여 공격를 校정하고, 사용자 극단화 수준과 관심의 관련성에 따라 다양한 수준에서 성능을 평가한다.
• 실제 트위터 사용자 데이터를 활용하여 이모지 설정에서 공격의 효과성을 검증하고, 예측된 선호도와 실제 사용자 행동을 비교한다.
• 프라이버시 예산 ε와 사용자 행동 극단화 수준이 공격 성공에 미치는 영향을 분석하여, 높은 극단화 수준이 심각하게 취약성을 증가시킨다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 애플의 CMS 구현 하에서 반복적인 가공된 데이터 제출이 이루어지는 상황에서 악성 당사자가 사용자의 특정 객체 그룹(예: 피부 톤 또는 정치적 뉴스 사이트)을 선호하는지 정확하게 유추할 수 있는가?
• RQ2 사용자 극단화 수준과 관심이 정의된 풀에 비해 관련성이 높을수록 풀 인퍼런스 공격의 성공률는 어떻게 변하는가?
• RQ3 애플의 높은 프라이버시 예산(ε = 4 및 ε = 8)이 실세계 환경에서 국소적 차별적 프라이버시의 실질적 보장을 얼마나 약화시키는가?
• RQ4 베이지안 모델은 악성 당사자의 추론에 대한 자신감을 얼마나 잘 예측하는가? 그리고 실질적으로 공격가 잘 校정되어 있는가?
• RQ5 이러한 결과는 동일한 사용자로부터 시간이 지남에 따라 데이터를 수집하는 시스템에 국소적 차별적 프라이버시 메커니즘을 구현할 때 어떤 의미를 갖는가?

주요 결과

• 풀 인퍼런스 공격은 이모지 및 뉴스 웹사이트 설정 모두에서 랜덤 추측보다 뚜렷이 뛰어나며, 충분한 데이터가 수집된 경우 우연의 성공률를 크게 초월하는 성공률를 기록한다.
• 특정 풀에서 일관되게 객체를 선택하는 극단화된 사용자는 특히 그 선호 풀이 명확하고 뚜렷할 경우 공격에 매우 취약한 것으로 밝혀졌다.
• 공격는 높은 신뢰도를 보였으며, 베이지안 모델은 잘 校정되어 있어 악성 당사자가 사용자 행동 패tern을 바탕으로 취약한 사용자를 신뢰성 있게 식별하고 표적으로 삼을 수 있었다.
• 이모지 설정에서는 실제 트위터 사용자 데이터를 사용하여 공격가 선호하는 피부 톤을 성공적으로 유추했으며, 이는 모델의 실질적 관련성과 효과성을 검증한 것이다.
• 결과적으로 국소적 차별적 프라이버시가 적용된 상황에서도 고ε 값과 반복적인 데이터 수집이 악용 가능한 프라이버시 유출을 초래하며, 의도된 프라이버시 보장을 약화시킨다.
• 이 연구는 단순히 각 제출 시점의 프라이버시 손실(ε)에만 의존하는 것의 한계를 드러내며, 샤플링 또는 믹스 네트워크와 같은 더 강력한 프라이버시 모델이 이러한 실질적 공격 표면을 닫기 위해 필요하다고 주장한다.