[논문 리뷰] CTAB-GAN: Effective Table Data Synthesizing

Zilong Zhao, Aditya Kunar외 3명|arXiv (Cornell University)|2021. 02. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 63

한 줄 요약

CTAB-GAN은 혼합 데이터 유형을 처리하는 조건부 GAN으로, 롱테일 및 불균형 분포를 다루며 이전 방법보다 ML 유용성과 통계적 유사성을 향상시킨다.

ABSTRACT

While data sharing is crucial for knowledge development, privacy concerns and strict regulation (e.g., European General Data Protection Regulation (GDPR)) unfortunately limit its full effectiveness. Synthetic tabular data emerges as an alternative to enable data sharing while fulfilling regulatory and privacy constraints. The state-of-the-art tabular data synthesizers draw methodologies from generative Adversarial Networks (GAN) and address two main data types in the industry, i.e., continuous and categorical. In this paper, we develop CTAB-GAN, a novel conditional table GAN architecture that can effectively model diverse data types, including a mix of continuous and categorical variables. Moreover, we address data imbalance and long-tail issues, i.e., certain variables have drastic frequency differences across large values. To achieve those aims, we first introduce the information loss and classification loss to the conditional GAN. Secondly, we design a novel conditional vector, which efficiently encodes the mixed data type and skewed distribution of data variable. We extensively evaluate CTAB-GAN with the state of the art GANs that generate synthetic tables, in terms of data similarity and analysis utility. The results on five datasets show that the synthetic data of CTAB-GAN remarkably resembles the real data for all three types of variables and results into higher accuracy for five machine learning algorithms, by up to 17%.

연구 동기 및 목표

• GDPR 하에서 프라이버시를 보호하는 대안으로 합성 표 형 데이터의 동기를 부여한다.
• 혼합 연속/범주 변수 및 누락 값을 모델링할 수 있는 GAN 기반 생성기를 개발한다.
• 새로운 인코딩 및 학습 전략으로 롱테일 및 매우 불균형한 분포를 다룬다.
• 생성된 레코드의 의미론적 일관성과 학습 안정성을 높이기 위해 분류기 및 정보 손실을 도입한다.
• 다중 데이터셋에서 ML 유용성, 통계적 유사성 및 프라이버시 근사치를 평가한다.

제안 방법

• 생성기, 판별기, 보조 분류기가 있는 조건부 표 GAN인 CTAB-GAN를 도입한다.
• 혼합 범주-연속 변수 및 누락 값을 모드 기반 인코딩의 연결된 표현으로 나타내는 Mixed-type Encoder를 사용한다.
• 실데이터와 합성 데이터 간의 1차 및 2차 통계를 정렬하기 위해 정보 손실을 도입한다.
• 생성된 레코드의 의미론적 일관성을 강화하기 위해 보조 분류기를 통한 분류 손실를 추가한다.
• 불균형 변수의 모드 붕괴를 완화하기 위해 조건 벡터의 로그-빈도 샘플링을 적용한다.
• 변분 가우시안 혼합물의 모드 학습을 개선하기 위해 롱테일 연속 변수에 로그 변환으로 전처리한다.

실험 결과

연구 질문

• RQ1 CTAB-GAN이 누락 값을 포함한 혼합 유형 표 형 데이터를 정확하게 모델링할 수 있는가?
• RQ2 CTAB-GAN이 합성 데이터를 사용한 ML 분석 유용성을 최첨단 표 GAN과 비교하여 향상시키는가?
• RQ3 CTAB-GAN이 실제 데이터와의 통계적 유사성(분포 및 상관관계)을 얼마나 잘 보존하는가?
• RQ4 CTAB-GAN 생성 데이터의 프라이버시 위험이 동료들에 비해 어떤가?

주요 결과

Method	Accuracy	F1-score	AUC
CTAB-GAN	9.83%	0.127	0.117
CTGAN	21.51%	0.274	0.253
TableGAN	11.40%	0.130	0.169
MedGAN	14.11%	0.282	0.285
CW-GAN	20.06%	0.354	0.299

• CTAB-GAN은 다섯 개의 데이터셋에서 ML 유용성 측면에서 CTGAN, TableGAN, CW-GAN, MedGAN보다 우수한 것으로 나타났다(정확도, F1, AUC 차이).
• CTAB-GAN은 경쟁사들보다 평균적으로 더 나은 통계적 유사성(더 낮은 JSD, 더 낮은 WD, 더 근접한 상관관계)을 달성한다.
• CTAB-GAN은 TableGAN 및 기타 대비 프라이버시 관련 지표가 더 강하게 나타나, 유용성을 유지하면서 프라이버시 위험이 감소했음을 시사한다.
• 절삭 연구를 통해 분류기, 정보 손실 및 혼합형 인코딩이 데이터셋 전반의 성능 향상에 기여함이 확인된다.