[논문 리뷰] Privacy for Free: How does Dataset Condensation Help Privacy?

Tian Dong, Bo Zhao외 1명|arXiv (Cornell University)|2022. 06. 01.

Privacy-Preserving Technologies in Data인용 수 31

한 줄 요약

본 논문은 데이터 집약(Dataset Condensation, DC)이 학습을 더 빠르게 할 뿐만 아니라 프라이버시 이점도 제공한다는 점을 보여주며, DC를 차등 프라이버시와 연결하고 훨씬 더 큰 원시 데이터 세트에서 합성된 데이터를 생성할 때 프라이버시 누출이 제한적임을 입증한다.

ABSTRACT

To prevent unintentional data leakage, research community has resorted to data generators that can produce differentially private data for model training. However, for the sake of the data privacy, existing solutions suffer from either expensive training cost or poor generalization performance. Therefore, we raise the question whether training efficiency and privacy can be achieved simultaneously. In this work, we for the first time identify that dataset condensation (DC) which is originally designed for improving training efficiency is also a better solution to replace the traditional data generators for private data generation, thus providing privacy for free. To demonstrate the privacy benefit of DC, we build a connection between DC and differential privacy, and theoretically prove on linear feature extractors (and then extended to non-linear feature extractors) that the existence of one sample has limited impact ($O(m/n)$) on the parameter distribution of networks trained on $m$ samples synthesized from $n (n \gg m)$ raw samples by DC. We also empirically validate the visual privacy and membership privacy of DC-synthesized data by launching both the loss-based and the state-of-the-art likelihood-based membership inference attacks. We envision this work as a milestone for data-efficient and privacy-preserving machine learning.

연구 동기 및 목표

• 개인 데이터 생성을 위한 DP 기반 데이터 제너레이터보다 데이터 효율적인 대안으로서 데이터 집약(DC)의 활용을 고무한다.
• 이론적으로 DC를 차등 프라이버시와 연결하고 DC 기반 데이터 합성에서의 프라이버시 손실을 특성화한다.
• 이미지 데이터셋에 대한 MIA 공격에 대해 DC-합성 데이터의 멤버십 프라이버시와 시각 프라이버시를 실험적으로 평가한다.

제안 방법

• 선형 및 비선형 추출기에 관한 명제들을 사용하여 DC-합성 데이터와 원본 데이터 간의 관계를分析한다.
• 원본 샘플 하나를 제거하는 것이 DC-합성 데이터로 학습된 모델의 매개변수 분포를 O(m/n)만큼 변화시킨다는 것을 증명한다.
• 모델 매개변수 분포와 실증적 DP 예산 추정을 통해 DC 프라이버시 경계를 DP 유사 프레임워크에 연관시킨다.
• DC-합성 데이터를 사용해 학습된 모델을 상대로 손실 기반 MIA와 LiRA를 실험적으로 평가하고, 유사도 지표를 통해 시각 프라이버시를 평가한다.

실험 결과

연구 질문

• RQ1 DC-합성 데이터로 학습할 때 데이터 집약이 멤버십 프라이버시에 어떤 영향을 미치는가?
• RQ2 원본 데이터세트와 합성 데이터세트의 크기를 기준으로 DC(선형 및 비선형 추출기)가 초래하는 프라이버시 손실을 이론적으로 한계지을 수 있는가?
• RQ3 손실 기반 MIA 및 LiRA에서의 공격자 성공률이 DP-생성기 및 GAN에 비해 DC-합성 데이터에서 감소하는가?
• RQ4 직접 매칭(attacks) 공격에 대해 DC-합성 데이터의 시각 프라이버시가 보존되는가?
• RQ5 이미지 기반 작업에서 프라이버시-유틸리티 트레이드오프 측면에서 DC와 DP 기반 데이터 생성기가 어떻게 비교되는가?

주요 결과

• DC-합성 데이터로 학습된 모델은 LiRA 기반 MIA에 대해 실험적 DP 예산 ε̂가 약 2 정도로 강한 프라이버시 보호를 달성한다.
• DC-합성 데이터는 데이터 효율성과 멤버십 프라이버시를 유지하면서 유사한 프라이버시 예산 하에서 DP-생성기보다 더 높은 정확도를 가능하게 한다.
• DC 방법은 GAN 기반 방법에 비해 학습 데이터 요구량을 최대 50%까지 줄이고 학습 속도는 최소 2배 빨라진다.
• 이론적 결과는 원본 데이터에서 샘플 하나를 제거하는 것이 n개의 원시 샘플에서 m개의 DC-합성 샘플로 학습할 때 모델 매개변수를 O(m/n)만큼만 바꾼다(n ≫ m).
• DC-합성 데이터는 원본 데이터와 지각적으로 유사하지 않으며 LPIPS나 단순 유사성 지표를 통해 원본으로 역설계될 수 없다.