[논문 리뷰] CTAB-GAN+: Enhancing Tabular Data Synthesis

Zilong Zhao, Aditya Kunar외 2명|arXiv (Cornell University)|2022. 04. 01.

Privacy-Preserving Technologies in Data인용 수 14

한 줄 요약

CTAB-GAN+는 조건부 타뷸라 GAN으로, 새로운 인코더, 기울기 보정이 있는 워샤르스타인 손실, 하류 작업 헤드(회귀/분류용), DP-SGD 훈련을 통해 데이터 합성의 유용성과 프라이버시를 향상시킨다. 다양한 프라이버시 예산 하에서 최신 기술의 DP GAN보다 최소 48.16% 높은 유용성을 달성한다.

ABSTRACT

While data sharing is crucial for knowledge development, privacy concerns and strict regulation (e.g., European General Data Protection Regulation (GDPR)) limit its full effectiveness. Synthetic tabular data emerges as alternative to enable data sharing while fulfilling regulatory and privacy constraints. State-of-the-art tabular data synthesizers draw methodologies from Generative Adversarial Networks (GAN). As GANs improve the synthesized data increasingly resemble the real data risking to leak privacy. Differential privacy (DP) provides theoretical guarantees on privacy loss but degrades data utility. Striking the best trade-off remains yet a challenging research question. We propose CTAB-GAN+ a novel conditional tabular GAN. CTAB-GAN+ improves upon state-of-the-art by (i) adding downstream losses to conditional GANs for higher utility synthetic data in both classification and regression domains; (ii) using Wasserstein loss with gradient penalty for better training convergence; (iii) introducing novel encoders targeting mixed continuous-categorical variables and variables with unbalanced or skewed data; and (iv) training with DP stochastic gradient descent to impose strict privacy guarantees. We extensively evaluate CTAB-GAN+ on data similarity and analysis utility against state-of-the-art tabular GANs. The results show that CTAB-GAN+ synthesizes privacy-preserving data with at least 48.16% higher utility across multiple datasets and learning tasks under different privacy budgets.

연구 동기 및 목표

• GDPR와 같은 엄격한 규정 하에서 고유용도, 프라이버시 보장의 합성 타뷸라 데이터 생성 문제를 해결한다.
• 기존 GAN이 혼합 연속-이산 변수, 비대칭 분포, 클래스 불균형을 다루는 데에 한계가 있음을 극복한다.
• 기울기 보정이 있는 워샤르스타인 손실과 보조 작업 헤드를 사용해 타뷸라 GAN의 훈련 안정성과 일반화 능력을 향상시킨다.
• 단일 판별자 아키텍처에 차등 프라이버시를 통합해 복잡성을 줄이고 이론적 프라이버시 보장을 확보한다.
• 다양한 데이터셋과 프라이버시 예산에서 DP 타뷸라 GAN에 대한 강력한 벤치마크를 수립한다.

제안 방법

• 합성 데이터에서 하류 작업 성능을 향상시키기 위해 보조 분류기와 회귀기 포함 조건부 GAN 프레임워크를 도입한다.
• 불균형 이산형 및 비대칭 연속형 특성과 같은 혼합형 변수에 특화된 새로운 신경 인코더를 활용한다.
• 기울기 보정이 있는 워샤르스타인 거리(Was+GP)를 사용해 GAN 훈련을 안정화하고 모드 커버리지 향상한다.
• 하나의 판별자에 대해 DP-SGD를 적용하고, 서브샘플링과 모멘트 회계를 사용해 (ε,δ)-차등 프라이버시를 강화하면서 프라이버시 비용을 감소시킨다.
• PATE-GAN이나 GS-WGAN처럼 다중 판별자 아키텍처와 비교해 훈련을 단순화하고 복잡성을 줄이기 위해 단일 판별자 아키텍처를 채택한다.
• RDP 기반 프라이버시 회계를 사용해 누적 프라이버시 손실을 (ε,δ)-DP 범위로 변환하며, δ=10−5로 설정한다.

실험 결과

연구 질문

• RQ1 보조 작업 헤드를 갖춘 조건부 GAN이 합성 타뷸라 데이터의 머신러닝 유용성을 크게 향상시킬 수 있는가?
• RQ2 표준 GAN 접근 방식과 비교해 새로운 인코더가 혼합형 및 비대칭 타뷸라 데이터를 모델링하는 데 얼마나 효과적인가?
• RQ3 Was+GP 손실이 표준 GAN 목적함수와 비교해 타뷸라 GAN의 훈련 안정성과 데이터 품질을 향상시키는가?
• RQ4 단일 판별자 타뷸라 GAN에 DP-SGD를 효과적으로 적용해 유용성 손실 없이 강력한 프라이버시 보장을 달성할 수 있는가?
• RQ5 다양한 실세계 타뷸라 데이터셋에서 프라이버시 예산과 합성 데이터 유용성 간의 상호 교환 관계는 어떠한가?

주요 결과

• CTAB-GAN+는 비공개 최신 기술 GAN보다 최소 41.2% 높은 정확도와 56.4% 높은 AUC를 기록한다.
• ε=1일 때, CTAB-GAN+는 모든 DP GAN 기준선보다 평균적으로 최소 48.16% 높은 정확도와 38.05% 높은 F1 점수를 확보한다.
• 통계적 유사도 갭을 줄여, ε=1일 때 평균 JSD 0.192와 평균 WD 775를 기록하며, PATE-GAN과 DP-WGAN를 크게 앞선다.
• ε=100일 때도 CTAB-GAN+는 강력한 성능을 유지하여 실제 데이터와 비교해 정확도 차이 13.34%와 F1 점수 차이 0.311를 보이며, 느슨한 프라이버시 예산 하에서도 강인함을 입증한다.
• GS-WGAN는 모든 지표에서 가장 열 劣한 성능을 보이며, 정확도 차이 64.10%와 F1 점수 0.668로 타뷸라 데이터의 복잡성을 다루는 데에 한계를 드러낸다.
• 서브샘플링과 DP-SGD의 사용은 다중 판별자 DP-GAN과 비교해 프라이버시 비용과 복잡성을 감소시키며, 더 뛰어난 유용성을 유지한다.