[논문 리뷰] Generating tabular datasets under differential privacy

Gianluca Truda|arXiv (Cornell University)|2023. 08. 28.

Privacy-Preserving Technologies in DataComputer Science인용 수 3

한 줄 요약

이 논문은 엄격한 개인정보 보호 제약 조건 하에서 다양한 실생활 데이터셋에서 품질, 다양성, 안정성 측면에서 최신 기술 수준의 GAN보다 뛰어난 성능을 보이는, 테이블 데이터 합성을 위한 첫 번째 차별적 비밀보장 확산 모델인 TableDiffusion를 소개한다. 직접 노이즈 제거를 하지 않고 노이즈를 예측하고 이를 빼내는 방식을 통해 혼합형 테이블 표현에서 발생하는 과제를 피하고, 더 뛰어난 데이터 및 개인정보 효율성을 달성한다.

ABSTRACT

Machine Learning (ML) is accelerating progress across fields and industries, but relies on accessible and high-quality training data. Some of the most important datasets are found in biomedical and financial domains in the form of spreadsheets and relational databases. But this tabular data is often sensitive in nature. Synthetic data generation offers the potential to unlock sensitive data, but generative models tend to memorise and regurgitate training data, which undermines the privacy goal. To remedy this, researchers have incorporated the mathematical framework of Differential Privacy (DP) into the training process of deep neural networks. But this creates a trade-off between the quality and privacy of the resulting data. Generative Adversarial Networks (GANs) are the dominant paradigm for synthesising tabular data under DP, but suffer from unstable adversarial training and mode collapse, which are exacerbated by the privacy constraints and challenging tabular data modality. This work optimises the quality-privacy trade-off of generative models, producing higher quality tabular datasets with the same privacy guarantees. We implement novel end-to-end models that leverage attention mechanisms to learn reversible tabular representations. We also introduce TableDiffusion, the first differentially-private diffusion model for tabular data synthesis. Our experiments show that TableDiffusion produces higher-fidelity synthetic datasets, avoids the mode collapse problem, and achieves state-of-the-art performance on privatised tabular data synthesis. By implementing TableDiffusion to predict the added noise, we enabled it to bypass the challenges of reconstructing mixed-type tabular data. Overall, the diffusion paradigm proves vastly more data and privacy efficient than the adversarial paradigm, due to augmented re-use of each data batch and a smoother iterative training process.

연구 동기 및 목표

• 민감한 생물의학 및 금융 테이블 데이터셋에 대한 접근을 제한하는 개인정보 보호 규정으로 인해 발생하는 인공지능 연구의 핵심적 저해요인을 해결하기 위해.
• 모드 붕괴, 불안정성, 낮은 데이터 효율성 등의 문제로 인해 차별적 비밀보장 하에서 기존 생성 모델—특히 GANs—의 한계를 극복하기 위해.
• 확산 모델의 안정성과 반복적 훈련 과정을 활용하여 합성 테이블 데이터 생성의 품질-개인정보 보호 트레이드오프를 향상시키기 위해.
• 기존 방법보다 훨씬 뛰어난 데이터 충실도와 다양성을 확보하면서도 강력한 개인정보 보호 보장을 유지하는 방법을 개발하기 위해.

제안 방법

• 노이즈를 추가하는 과정을 뒤집어 노이즈를 예측하고 제거함으로써 손상된 데이터 샘플에서 노이즈를 제거하는 방식으로, 혼합형 테이블 데이터를 직접 복원하지 않는 방식의 새로운 차별적 비밀보장 확산 모델인 TableDiffusion를 제안한다.
• 혼합형 테이블 데이터를 직접 복원하는 것 대신 노이즈 예측을 통해 더 안정적이고 정확한 생성을 가능하게 하기 위해 확산 모델의 노이즈 예측 변형을 구현한다.
• 혼합 데이터 유형(범주형, 수치형)과 고카디널리티 특징을 처리하기 위해 학습 가능한 위치 임베딩을 갖춘 디노이징 U-Net 아키텍처를 사용한다.
• 엄격한 개인정보 보장을 보장하기 위해 레니 지수 차별적 비밀보장(RDP) 계산을 사용한 차별적 비밀보장 경사 하강법(DP-SGD)을 적용한다.
• 각 데이터 배치를 여러 노이즈 단계에서 재사용함으로써 데이터 증강 전략을 통합하여 데이터 효율성을 높이고 개인정보 예산 소비를 줄인다.
• 두 단계 훈련 과정을 설계: 먼저 자기주의 주의 메커니즘을 사용해 테이블 표현을 사전 훈련하고, 그 다음에 학습된 임베딩에서 확산 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 차별적 비밀보장 테이블 데이터 합성의 맥락에서, 확산 기반 생성 모델이 GAN과 같은 대안 모델보다 더 높은 데이터 및 개인정보 효율성을 달성할 수 있는가?
• RQ2 확산 과정에서 추가된 노이즈를 예측하는 것이 혼합형 테이블 데이터에서 직접 노이즈 제거하는 것보다 더 뛰어난 성능과 안정성을 제공하는가?
• RQ3 엔드 투 엔드 주의 기반 표현이 차별적 비밀보장 하에서 합성 테이블 데이터의 품질을 얼마나 향상시킬 수 있는가?
• RQ4 확산 모델의 반복적이고 노이즈 기반 훈련 과정이 GAN의 대비적 훈련 방식과 비교해 수렴성, 모드 커버리지 및 개인정보 예산 소비 측면에서 어떻게 다를까?

주요 결과

• TableDiffusion는 pMSE 비율 및 α-정밀도/β-재현율 측정 기준으로 모든 벤치마크 데이터셋에서 최신 기술 수준의 GAN 기반 모델을 일관되게 능가했다.
• 노이즈 예측 변형은 합성 데이터 품질을 가장 높게 달성하여 원본 데이터의 다양성을 더 잘 포착하고 GAN보다 모드 붕괴를 줄였다.
• 더 부드러운 기울기 업데이트와 배치당 더 높은 데이터 재사용으로 인해 확산 모델은 GAN보다 개인정보 예산을 훨씬 느리게 소모하여 훨씬 더 높은 훈련 효율성을 보였다.
• TableDiffusion는 여러 실행 및 개인정보 수준에서 GAN과 달리 뛰어난 안정성을 보였으며, 차별적 비밀보장 하에서 고도로 변동성이 크고 빈번한 훈련 실패를 겪는 경향이 없었다.
• 제거 분석을 통해 노이즈 예측 메커니즘이 성능 향상의 주요 원동력임을 확인했으며, 이는 혼합형 테이블 데이터를 직접 복원하는 데서 발생하는 과제를 피하기 때문이다.
• 평균적으로 TableDiffusion는 다섯 개인실 세계 데이터셋에서 가장 우수한 성능을 보인 GAN 베이스라인 대비 α-정밀도 및 β-재현율 지표에서 25–40% 향상된 성과를 기록했다.