[논문 리뷰] Knock Knock, Who's There? Membership Inference on Aggregate Location Data

Apostolos Pyrgelis, Carmela Troncoso외 1명|arXiv (Cornell University)|2017. 08. 21.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 집합적 위치 시간열에 대한 멤버십 추론 공격의 첫 번째 공식적 연구를 제시하며, 공격를 기계학습 분류 문제로 모델링하여 대상 사용자 데이터가 집합에 포함되어 있는지 여부를 판단한다. 이러한 공격은 매우 효과적이며, 최대 AUC 0.83를 기록하며, 특히 소규모 그룹이나 사전 지식이 있을 경우 더욱 높은 성능을 보이며, 차분성 개인정보 보호 기법은 유출을 감소시키지만, 공격자가 노이즈가 포함된 데이터로 학습함으로써 방어 메커니즘을 모방할 경우 보호 기능이 제한적임을 밝힌다.

ABSTRACT

Aggregate location data is often used to support smart services and applications, e.g., generating live traffic maps or predicting visits to businesses. In this paper, we present the first study on the feasibility of membership inference attacks on aggregate location time-series. We introduce a game-based definition of the adversarial task, and cast it as a classification problem where machine learning can be used to distinguish whether or not a target user is part of the aggregates. We empirically evaluate the power of these attacks on both raw and differentially private aggregates using two mobility datasets. We find that membership inference is a serious privacy threat, and show how its effectiveness depends on the adversary's prior knowledge, the characteristics of the underlying location data, as well as the number of users and the timeframe on which aggregation is performed. Although differentially private mechanisms can indeed reduce the extent of the attacks, they also yield a significant loss in utility. Moreover, a strategic adversary mimicking the behavior of the defense mechanism can greatly limit the protection they provide. Overall, our work presents a novel methodology geared to evaluate membership inference on aggregate location data in real-world settings and can be used by providers to assess the quality of privacy protection before data release or by regulators to detect violations.

연구 동기 및 목표

• 집합적 위치 시간열 데이터에 대해 멤버십 추론 공격이 가능한지 조사하기.
• 기계학습을 사용하여 게임 이론적 구별 문제로 멤버십 추론을 공식화하기.
• 차분성 개인정보 보호 기법이 이러한 공격을 완화하는 데 얼마나 효과적인지 평가하면서 유틸리티 손실을 측정하기.
• 사전 지식, 데이터 희소성, 그룹 규모, 집계 시간대가 공격 성공률에 어떤 영향을 미치는지 평가하기.
• 공개 전에 개인정보 보호 품질을 평가할 수 있는 방법론을 제공자 및 규제 기관이 활용할 수 있도록 하기.

제안 방법

• 공격자가 주어진 집합에 대상 사용자가 포함되어 있는지 여부를 구분할 수 있도록 멤버십 추론 작업을 이진 분류 문제로 모델링하기.
• 대상 사용자가 포함되거나 포함되지 않은 원본 또는 차분성 개인정보 보호 집합을 포함한 사전 지식을 기반으로 기계학습 분류기(예: MLP)를 학습하기.
• 실제 이동성 데이터셋(TFL 및 SFC)을 사용하여 그룹 규모, 시간대, 데이터 정규성 등 다양한 조건에서 공격 성능을 평가하기.
• 집합적 데이터에 차분성 개인정보 보호 기법(LPA, GSM, FPA, EFPAG)을 적용하고, 멤버십 추론 정확성에 미치는 영향을 측정하기.
• 수동적 공격자와 전략적 공격자를 모두 평가: 수동적 공격자는 원본 데이터로 학습하고, 전략적 공격자는 노이즈가 포함된 데이터로 학습하여 방어 메커니즘을 모방하기.
• 다양한 에프실론 값에서 AUC 및 민감도 지표를 사용하여 개인정보 보호 기여도(PG)와 유틸리티 손실을 측정하기.

실험 결과

연구 질문

• RQ1 공격자가 사용자 위치에 대한 부분적인 지식을 가지고 있을 경우, 집합적 위치 시간열에 대해 멤버십 추론이 얼마나 효과적인가?
• RQ2 차분성 개인정보 보호 기법이 집합적 이동성 데이터에 대한 멤버십 추론 공격의 성공률를 얼마나 감소시키는가?
• RQ3 집계 그룹 내 사용자 수와 집계 시간대가 공격 정확도에 어떤 영향을 미치는가?
• RQ4 방어 메커니즘을 모방하는 전략적 공격자가 차분성 개인정보 보호 기법의 개인정보 보호 보장을 상당히 감소시킬 수 있는가?
• RQ5 희소성과 정규성 등의 데이터 특성이 멤버십 추론 공격의 영향력에 어떤 영향을 미치는가?

주요 결과

• 공격자가 소규모 사용자 집단(그룹당 100명)에 대한 사전 지식을 가진 경우, 멤버십 추론 공격이 최대 AUC 0.83를 기록하여 대상 포함 여부를 매우 높은 정확도로 식별함을 나타냄.
• 사전 지식이 사용자 집단에 있을 경우, 그룹당 9,500명이어도 공격 성능이 최대 AUC 1.0에 도달하여 유리한 조건에서 거의 완벽한 분류를 가능하게 함.
• 차분성 개인정보 보호 기법은 멤버십 추론 성공률를 감소시키지만, 유틸리티 손실이 크며, 특히 LPA 및 GSM와 같은 기법에서 두드러짐.
• 노이즈가 포함된 집합으로 학습하는 전략적 공격자가 차분성 개인정보 보호 기법의 개인정보 보호 기여도를 최대 83%까지 감소시켜 기법의 효과성을 떨어뜨림.
• 희소 데이터셋(예: TFL)에서는 에프실론 값 증가에 따라 개인정보 보호 기여도가 더 빠르게 감소하며, 이는 민감도가 높기 때문임.
• 차분성 개인정보 보호 기법의 성능은 크게 다름: FPA 및 EFPAG는 더 나은 유틸리티를 제공하지만 개인정보 보호 기능은 약함; 반면 LPA 및 GSM는 강력한 개인정보 보호 주장에도 불구하고 유틸리티가 열악함.