[논문 리뷰] AutoDiff: combining Auto-encoder and Diffusion model for tabular data synthesizing

Namjoon Suh, Xiaofeng Lin외 3명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling인용 수 5

한 줄 요약

AutoDiff는 기존의 GAN 및 확산 기반 모델보다 통계적 정밀도와 후행 기계학습 유용성 측면에서 15개 데이터셋에서 뛰어난 성능을 보이는 고해상도 합성 표본 데이터를 생성하기 위해 변동형 오토인코더(VAE)와 점수 기반 확산 모델을 융합한 새로운 표본 데이터 생성 기법을 제안한다. 이는 혼합형 변수를 포함한 이질적 특징의 연속 잠재 표현을 학습함으로써 복잡한 특징 상관관계를 효과적으로 포착한다.

ABSTRACT

Diffusion model has become a main paradigm for synthetic data generation in many subfields of modern machine learning, including computer vision, language model, or speech synthesis. In this paper, we leverage the power of diffusion model for generating synthetic tabular data. The heterogeneous features in tabular data have been main obstacles in tabular data synthesis, and we tackle this problem by employing the auto-encoder architecture. When compared with the state-of-the-art tabular synthesizers, the resulting synthetic tables from our model show nice statistical fidelities to the real data, and perform well in downstream tasks for machine learning utilities. We conducted the experiments over $15$ publicly available datasets. Notably, our model adeptly captures the correlations among features, which has been a long-standing challenge in tabular data synthesis. Our code is available at https://github.com/UCLA-Trustworthy-AI-Lab/AutoDiffusion.

연구 동기 및 목표

• 이질적 특징(수치형, 이산형, 혼합형)을 가진 표본 데이터를 생성하면서도 통계적 정밀도를 유지하는 문제를 해결한다.
• 기존의 GAN 기반 모델(CTGAN 등)과 확산 기반 모델(Stasy, TabDDPM 등)이 복잡한 상관관계와 혼합형 특징을 모델링하는 데 한계를 보이는 점을 극복한다.
• 실제 특징 분포와 상호특징 의존성을 유지하는 합성 데이터를 생성함으로써 후행 기계학습의 유용성을 향상시킨다.
• 거리-가장근기록(DCR) 지표를 분석하여 암기 위험과 데이터 유용성의 균형을 이루는 프라이버시 인식 생성을 향상시킨다.

제안 방법

• 이질적 표본 데이터 특징을 연속 잠재 공간으로 매핑하기 위해 변동형 오토인코더(VAE)를 사용하여 복잡한 데이터 분포를 종합적으로 학습한다.
• 반복적인 값이 포함된 혼합형 특징을 위한 빈도 기반 더미 변수를 도입하여 VAE가 구조적 패턴을 유지하는 표현을 학습할 수 있도록 한다.
• 잠재 공간에서 점수 기반 확산 모델을 적용하여 특징의 공동 분포를 반영하는 새로운 다양성 있는 잠재 표현을 생성한다.
• 사전 훈련된 디코더를 사용하여 생성된 잠재 벡터를 원래의 표본 형식으로 재구성하며, 혼합형 특징과 해당 더미 인코딩을 포함한다.
• 재구성된 혼합형 특징과 더미 변수를 조합하여 실제 데이터의 구조적 및 통계적 특성을 유지하는 최종 합성 샘플을 생성한다.
• 특성 분류 작업에서 성능 향상을 위해 TabDDPM에서 유래한 가우시안 퀀틸 변환과 점수 네트워크 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 하이브리드 오토인코더-확산 프레임워크는 기존의 GAN 또는 확산 모델 전용 모델보다 혼합형 변수를 포함한 이질적 표본 데이터 특징을 더 효과적으로 모델링할 수 있는가?
• RQ2 AutoDiff는 최신 표준 기준 모델 대비 표본 데이터의 복잡한 특징 상관관계를 얼마나 잘 유지하는가?
• RQ3 AutoDiff는 기준 모델 대비 후행 기계학습 유용성(분류 및 회귀)을 얼마나 향상시키는가?
• RQ4 기타 모델 대비 AutoDiff의 암기 위험 측정 기준인 평균 가장 가까운 기록 거리(MDCR) 측면에서 프라이버시의 타협 정도는 어떠한가?
• RQ5 오토인코더 기반 인코딩 통합이 확산 기반 표본 데이터 생성에서 통계적 정밀도와 유용성을 향상시키는가?

주요 결과

• AutoDiff는 모든 모델 중 평균 MDCR 순위가 가장 높은 6.33을 기록하여 강력한 프라이버시 성능을 보였지만, 최고는 아니었으며, 이는 정밀도와 암기 사이의 균형을 이루고 있음을 시사한다.
• 분류 작업에서 AutoDiff(Tab-AutoDiff)는 83.6%의 정확도와 0.659의 F1 스코어를 기록하여 Stasy(82.0% 정확도, 0.665 F1)와 CTGAN(69.9% 정확도, 0.465 F1)을 모두 앞서며, 가장 높은 AUROC(0.852)를 기록했다.
• 회귀 작업에서 AutoDiff는 R² 0.172와 RMSE 4679.11을 기록하여 Stasy(R² ≈ 0, RMSE = 1.06×10⁸)와 CTABGAN+(R² = 0.061, RMSE = 5518.107)를 크게 앞서며 뛰어난 성능을 보였다.
• AutoDiff는 CTGAN, TVAE, CTABGAN+, AutoGAN 등 모든 GAN 기반 모델을 초월하여 분류 및 회귀 유용성 측면에서 뛰어난 후행 성능을 보이며 우수한 성능을 입증했다.
• 시각적 비교를 통해 합성 데이터가 실제 데이터 분포와 매우 유사하게 유지됨을 확인하였으며, 특히 혼합형 특징에서 특징 상관관계를 효과적으로 포착함을 입증하였다.
• Tab-AutoDiff는 회귀 작업에서 가장 뛰어난 성능을 기록하여 R² 0.172와 RMSE 4679.11을 달성하였으며, TabDDPM(R² = -9.39, RMSE = 17,322.613)에 비해 유의미하게 뛰어난 성능을 보여, AutoDiff가 공동 분포를 더 잘 모델링하고 있음을 시사한다.