[논문 리뷰] Differentially Private Mean Embeddings with Random Features (DP-MERF) for Simple & Practical Synthetic Data Generation.

Frederik Harder, Kamil Adamczewski외 1명|arXiv (Cornell University)|2020. 02. 26.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 4

한 줄 요약

이 논문은 커널 평균 임베딩의 무작위 특징 근사화를 사용한 차별적(private) 합성 데이터 생성 방법인 DP-MERF를 제안한다. 데이터에 의존하는 항목과 유한한 무작위 특징을 활용하여 분리함으로써, 기존 방법보다 테이블형, 복합 특징-라벨, 고차원 데이터에서 더 낮은 프라이버시 비용과 분석 감도를 달성하여 더 나은 프라이버시-유용성 트레이드오프를 가능하게 한다.

ABSTRACT

We present a differentially private data generation paradigm using random feature representations of kernel mean embeddings when comparing the distribution of true data with that of synthetic data. We exploit the random feature representations for two important benefits. First, we require a very low privacy cost for training deep generative models. This is because unlike kernel-based distance metrics that require computing the kernel matrix on all pairs of true and synthetic data points, we can detach the data-dependent term from the term solely dependent on synthetic data. Hence, we need to perturb the data-dependent term once-for-all and then use it until the end of the generator training. Second, we can obtain an analytic sensitivity of the kernel mean embedding as the random features are norm bounded by construction. This removes the necessity of hyperparameter search for a clipping norm to handle the unknown sensitivity of an encoder network when dealing with high-dimensional data. We provide several variants of our algorithm, differentially private mean embeddings with random features (DP-MERF) to generate (a) heterogeneous tabular data, (b) input features and corresponding labels jointly; and (c) high-dimensional data. Our algorithm achieves better privacy-utility trade-offs than existing methods tested on several datasets.

연구 동기 및 목표

• 고차원 데이터를 위한 차별적 생성 모델링에서 높은 프라이버시 비용과 감도 추정 과제를 해결한다.
• 깊이 있는 생성 모델에서 클리핑 노름의 하이퍼파rameter 튜닝이 필요로 하는 것을 줄이기 위해, 유한한 무작위 특징를 통해 분석 감도를 보장한다.
• 이질적인 테이블형, 복합 특징-라벨, 고차원 데이터를 포함한 다양한 데이터 유형에서 효율적이고 실용적인 차별적 합성 데이터 생성을 가능하게 한다.
• 커널 거리 계산에서 데이터에 의존하는 항목을 분리함으로써, 기존 방법에 비해 더 나은 프라이버시-유용성 트레이드오프를 달성한다.

제안 방법

• 완전한 커널 행렬 계산을 대체하기 위해 무작위 특징을 사용해 커널 평균 임베딩을 근사함으로써 계산 및 프라이버시 오버헤드를 감소시킨다.
• 커널 거리 지표에서 데이터에 의존하는 항목과 합성 데이터 전용 항목을 분리함으로써, 전체 학습 과정 동안 데이터에 의존하는 항목에 대해 한 번의 노이즈 주입만으로도 가능하게 한다.
• 무작위 특징의 노름 유한성 특성을 활용해 분석 감도를 도출함으로써, 클리핑 노름 하이퍼파rameter 탐색이 필요 없도록 한다.
• 데이터에 의존하는 구성 요소에 한 번의 노이즈 주입을 적용하여, 차별적(private) 거리 지표를 사용해 딥 생성 모델을 훈련시킨다.
• 이질적인 테이블형 데이터, 복합 특징-라벨 생성, 고차원 데이터를 위한 세 가지 알고리즘 변형을 설계한다.
• 무작위 특징 표현을 사용해 프라이버시 보장을 유지하면서도 확장 가능하고 정확한 분포 매칭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 커널 평균 임베딩의 무작위 특징 근사화가 차별적 생성 모델링에서 프라이버시 비용을 줄일 수 있는가?
• RQ2 거리 지표에서 데이터에 의존하는 항목과 합성 데이터 전용 항목을 분리하면, 단 한 번의 노이즈 주입이 가능해져 학습 효율성이 향상되는가?
• RQ3 유한한 무작위 특징가 분석 감도를 제공함으로써, 고차원 환경에서 클리핑 노름 하이퍼파rameter 튜닝이 필요 없어지는가?
• RQ4 다양한 데이터 유형에서 기존 방법에 비해 DP-MERF는 프라이버시-유용성 트레이드오프에서 어떻게 비교되는가?
• RQ5 강력한 프라이버시 보장 하에 이질적인 테이블형, 복합 특징-라벨, 고차원 데이터에 대해 DP-MERF는 고품질의 합성 데이터를 효과적으로 생성할 수 있는가?

주요 결과

• DP-MERF는 데이터에 의존하는 항목을 분리하고 이를 한 번의 노이즈 주입으로 처리함으로써 기존 방법보다 훨씬 낮은 프라이버시 비용을 달성한다.
• 노름 유한한 무작위 특징의 사용으로 분석 감도 계산이 가능해져 고차원 데이터에서 히우리스틱 클리핑 노름 선택이 필요 없어진다.
• 다양한 데이터 세트, 특히 테이블형 및 고차원 데이터에서 기준선 방법에 비해 더 나은 프라이버시-유용성 트레이드오프를 보여준다.
• 이론적·실증적으로 이 세 가지 데이터 유형—이질적인 테이블형, 복합 특징-라벨, 고차원 데이터—에 대해 합성 데이터 생성에 효과적이다.
• 효율적인 무작위 특징 근사화를 통해 깊이 있는 생성 모델의 확장 가능한 훈련을 가능하게 하면서도 강력한 프라이버시 보장을 유지한다.
• 실험 결과, 기존의 차별적 생성 모델에 비해 분포 매칭 및 후속 유용성 평가에서 성능 향상이 확인되었다.