[논문 리뷰] A Linear Reconstruction Approach for Attribute Inference Attacks against Synthetic Data

Meenatchi Sundaram Muthu Selva Annamalai, Andrea Gadotti외 1명|arXiv (Cornell University)|2023. 01. 24.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 합성 표본 데이터에 대한 선형 복원 기반 속성 유추 공격을 소개하며, 과도하게 정확한 집계 통계를 악용하여 비록 이질치수(아웃라이어)가 아니더라도 모든 기록을 대상으로 공격한다. 모델에 대한 액세스 없이도 높은 정확도를 달성함으로써, 현재의 합성 데이터 생성 방법이 강력한 유용성에도 불구하고 개인 정보를 보호하지 못하는 경향이 있음을 드러낸다.

ABSTRACT

Recent advances in synthetic data generation (SDG) have been hailed as a solution to the difficult problem of sharing sensitive data while protecting privacy. SDG aims to learn statistical properties of real data in order to generate "artificial" data that are structurally and statistically similar to sensitive data. However, prior research suggests that inference attacks on synthetic data can undermine privacy, but only for specific outlier records. In this work, we introduce a new attribute inference attack against synthetic data. The attack is based on linear reconstruction methods for aggregate statistics, which target all records in the dataset, not only outliers. We evaluate our attack on state-of-the-art SDG algorithms, including Probabilistic Graphical Models, Generative Adversarial Networks, and recent differentially private SDG mechanisms. By defining a formal privacy game, we show that our attack can be highly accurate even on arbitrary records, and that this is the result of individual information leakage (as opposed to population-level inference). We then systematically evaluate the tradeoff between protecting privacy and preserving statistical utility. Our findings suggest that current SDG methods cannot consistently provide sufficient privacy protection against inference attacks while retaining reasonable utility. The best method evaluated, a differentially private SDG mechanism, can provide both protection against inference attacks and reasonable utility, but only in very specific settings. Lastly, we show that releasing a larger number of synthetic records can improve utility but at the cost of making attacks far more effective.

연구 동기 및 목표

• 합성 데이터 생성(SDG) 방법이 이질치수 기록 외의 개인 정보 유출을 방지할 수 있는지 조사하기 위해.
• 해당 공격자가 생성 모델에 액세스할 수 없는 '노박스' 환경에서 실용적인 속성 유추 공격을 개발하기 위해.
• 최신 SDG 방법에서 기밀 보호와 통계적 유용성 간의 트레이드오프를 평가하기 위해.
• 합성 데이터 배포 규모가 유용성과 유추 공격에 대한 취약성에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 공격는 합성 데이터의 3방향 마진 통계(query)에 선형 복원 기법을 적용하여 개별 기록의 민감한 속성을 유추한다.
• 공격자는 준식별자(quasi-identifiers)를 알고 있으며 합성 데이터셋에 액세스할 수 있는 부분적으로 정보가 제공된 공격자 환경에서 작동한다.
• 마진 통계에서 유도된 선형 방정식계를 해결하여 원본 컬럼 값을 복원한다.
• 공격는 확률적 그래픽 모델, GAN, 차별적(private) 메커니즘을 포함한 여러 SDG 프레임워크에서 평가된다.
• 합성 데이터가 종종 높은 정확도로 집계 통계를 유지하므로 복원이 가능하다는 사실을 활용한다.
• 해당 공격는 히وري스틱 및 멤버십 유추 공격와 같은 이전 방법들과 비교되어, 임의의 기록에 대해 뛰어난 정확도를 입증한다.

실험 결과

연구 질문

• RQ1 합성 표본 데이터에서 비이상치 기록에 대해서도 속성 유추 공격가 효과적일 수 있는가?
• RQ2 높은 통계적 유용성에도 불구하고 현재의 SDG 방법이 개인 수준의 정보를 얼마나 유출하는가?
• RQ3 합성 기록의 수가 속성 유추 공격의 효과성에 어떤 영향을 미치는가?
• RQ4 차별적(private) SDG 메커니즘은 비차별적 대안보다 더 나은 기밀-유용성 트레이드오프를 제공할 수 있는가?
• RQ5 고차원 마진 통계(query)는 공격 정확도 향상에 유리한가?

주요 결과

• 제안된 선형 복원 공격는 이전의 속성 유추 공격보다 훨씬 높은 정확도를 달성하며, 특히 비이상치 기록에서 두드러진다.
• 공격는 기록이 기억되거나 이질치수일 필요 없이, 데이터셋 내 임의의 개인에게도 기밀 유출가 발생할 수 있음을 입증한다.
• 더 많은 합성 기록을 배포하면 유용성은 약간 향상되지만, 속성 유추 공격의 효과성은 극적으로 증가한다.
• 평가된 방법들 중에서, 차별적(private) 메커니즘인 RAP^softmax는 특정 환경에서 가장 우수한 경험적 기밀-유용성 트레이드오프를 제공한다.
• 이전의 공격는 기밀 위험을 최대 10%p까지 과소평가할 수 있으므로, 다중 방법 평가의 필요성이 강조된다.
• 4-방향 및 5-방향 마진 통계는 오차 증가로 인해 공격 성능 향상에 기여하지 않으며, 3-방향 통계가 최적임을 입증한다.