[논문 리뷰] Synthesizing Tabular Data using Generative Adversarial Networks

Lei Xu, Kalyan Veeramachaneni|arXiv (Cornell University)|2018. 11. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 219

한 줄 요약

저자들은 혼합 연속형 및 이산 변수로 구성된 표형 데이터를 합성하는 LSTM 기반 GAN인 TGAN을 소개합니다. 이는 특징 간 상관관계를 보존하고 더 큰 데이터셋으로 확장하는 데 있어 전통적 통계 생성기보다 우수합니다. 또한 TGAN으로 생성된 데이터로 학습된 ML 모델들이 실제 데이터로 학습된 모델들에 근접한 성능을 보입니다.

ABSTRACT

Generative adversarial networks (GANs) implicitly learn the probability distribution of a dataset and can draw samples from the distribution. This paper presents, Tabular GAN (TGAN), a generative adversarial network which can generate tabular data like medical or educational records. Using the power of deep neural networks, TGAN generates high-quality and fully synthetic tables while simultaneously generating discrete and continuous variables. When we evaluate our model on three datasets, we find that TGAN outperforms conventional statistical generative models in both capturing the correlation between columns and scaling up for large datasets.

연구 동기 및 목표

• 데이터 공유, 테스트, 안전한 탐색을 촉진하기 위한 합성 표형 데이터의 필요성 제시.
• 표형 데이터에서 혼합 수치 및 범주 특성을 처리할 수 있는 GAN 기반 생성기 개발.
• 다중모드 및 이산 변수 생성을 개선하기 위한 가역 변환 및 KL-발산 기반 정규화를 도입.
• 여러 데이터셋에서 TGAN으로 합성된 데이터로 학습한 모델의 성능이 실제 데이터로 학습한 모델과 유사하도록 달성.
• 대체 합성 데이터 방법에 비해 TGAN이 변수 간 상호 관계를 더 잘 보존함을 보임.

제안 방법

• LSTM 기반 생성기에 주의 집중 메커니즘(attention)을 적용하여 표형 데이터를 열(column) 단위로 생성합니다.
• 가역 변환 적용: 다모드 수치 특성은 Gaussian Mixture Models로 군집화하고, 범주형 특성은 노이즈를 포함한 원-핫 인코딩 후 재정규화합니다.
• 출력은 연속형 변수 값 (vi)와 군집 지시자 (ui), 그리고 이산 변수 분포 (di)를 포함합니다.
• 현실 데이터와 합성 데이터를 구분하는 판별기(MLP)를 미니배치 다양성을 반영하도록 학습합니다.
• 생성기를 GAN 손실에 더해 디스크리트 및 연속 구성 요소의 실제 데이터 분포와 일치하도록 KL-divergence 항을 추가로 최적화합니다.
• 생성된 표현으로부터 원래의 특징 유형을 재구성하는 사후처리를 활용합니다.

실험 결과

연구 질문

• RQ1 GAN 모델이 이질적인 수치 및 범주형 특징을 지닌 표형 데이터를 신뢰성 있게 생성하도록 맞춤화될 수 있는가?
• RQ2 TGAN은 GC, BN-Id, BN-Co와 같은 통계적 합성기보다 열 간 상관관계를 더 잘 보존하는가?
• RQ3 TGAN으로 생성된 데이터로 학습된 ML 모델이 실제 데이터로 학습된 모델과 비교해 유사한 성능을 나타내는가?
• RQ4 대형 표형 데이터세트에서도 데이터 유용성과 프라이버시 고려를 유지하며 TGAN이 확장 가능한가?
• RQ5 TGAN은 표형 데이터의 주변 분포 및 결합 분포를 얼마나 잘 보존하는가?

주요 결과

• TGAN은 열 간 상관관계를 포착하고 대규모 데이터셋으로 확장하는 데 있어 기존의 통계적 생성 모델을 능가합니다.
• TGAN으로 생성된 데이터로 학습된 머신러닝 모델은 실제 데이터로 학습된 모델에 더 근접한 성능을 보이며 Census에서의 평균 차이는 5.7% 정도로, GC의 24.9% 및 BN-Co의 43.3%보다 작습니다.
• TGAN은 GC 및 BN-Co보다 변수 간 상호 정보 구조(NMI)를 더 잘 보존하는 것으로 NMI 행렬 비교에서 나타납니다.
• 최근접 이웃 거리 분석에서 TGAN으로 생성된 데이터가 실제 데이터에 더 근접한 분포를 보이는 것으로 나타났습니다.
• Census, KDD99, Covertype 데이터세트에서 TGAN은 표준 ML 모델을 학습시킬 때 GC, BN-Co, BN-Id 기반 baselines보다 일관되게 높은 정확도를 제공합니다.
• TGAN은 합성 데이터로 학습된 경우에도 서로 다른 ML 모델의 순위를 유지하므로 합성 데이터 유틸리티를 기반으로 모델 선택이 가능합니다.