[논문 리뷰] TabDDPM: Modelling Tabular Data with Diffusion Models

Akim Kotelnikov, Dmitry Baranchuk외 2명|arXiv (Cornell University)|2022. 09. 30.

Topic Modeling인용 수 63

한 줄 요약

TabDDPM은 표형 데이터의 혼합 숫자 및 범주형 특성을 다루는 확산 기반 생성 모델을 도입하여 여러 벤치마크에서 최첨단 성능을 달성하고 프라이버시 친화적인 합성 데이터를 제공합니다.

ABSTRACT

Denoising diffusion probabilistic models are currently becoming the leading paradigm of generative modeling for many important data modalities. Being the most prevalent in the computer vision community, diffusion models have also recently gained some attention in other domains, including speech, NLP, and graph-like data. In this work, we investigate if the framework of diffusion models can be advantageous for general tabular problems, where datapoints are typically represented by vectors of heterogeneous features. The inherent heterogeneity of tabular data makes it quite challenging for accurate modeling, since the individual features can be of completely different nature, i.e., some of them can be continuous and some of them can be discrete. To address such data types, we introduce TabDDPM -- a diffusion model that can be universally applied to any tabular dataset and handles any type of feature. We extensively evaluate TabDDPM on a wide set of benchmarks and demonstrate its superiority over existing GAN/VAE alternatives, which is consistent with the advantage of diffusion models in other fields. Additionally, we show that TabDDPM is eligible for privacy-oriented setups, where the original datapoints cannot be publicly shared.

연구 동기 및 목표

• 확산 모델을 사용하여 일반적인 표형 데이터를 동기를 부여하고 모델링하며(수치형, 범주형, 이진형 등 이질적인 특성 유형을 다룸).
• TabDDPM을 제안: 표형 작업에 적용 가능하고 혼합 데이터 유형을 처리할 수 있는 간단한 확산 기반 프레임워크.
• 다양한 벤치마크에서 탁월한 표형 생성 모델(GAN/VAEs)과 비교하여 TabDDPM을 평가.
• 프라이버시 보존 합성 데이터 생성을 위한 TabDDPM의 적합성을 입증.

제안 방법

• 범주형 특성에는 다항 분산(multinomial diffusion)을, 수치형 특성에는 가우시안 확산(Gaussian diffusion)을 사용한다.
• 입력은 원-핫 인코딩된 범주형과 정규화된 수치형으로 구성되며; 전달 확산은 특성별로 독립적이다.
• 가우시안 부분에 대한 노이즈를 예측하는 MLP와 다항 부분에 대한 범주 로짓을 예측하는 역과정을 모델링한다.
• 가우시안 확산의 평균제곱오차 합을 최소화하고 각 다항 확산에 대한 KL 항을 더해 학습한다.
• 분류의 경우 클래스 조건부 모델을 사용하고; 회귀의 경우 대상(target)을 추가 수치형 특성으로 포함한다.
• 하이퍼파라미터는 CatBoost를 사용한 ML 효율성과 함께 보류된 검증 세트에서 Optuna로 안내받아 조정된다.

실험 결과

연구 질문

• RQ1 확산 모델을 사용하여 이질적인 특성 유형을 가진 표형 데이터에 효과적으로 확장할 수 있는가?
• RQ2 다양한 벤치마크에서 TabDDPM은 GAN- 및 VAE 기반의 표형 데이터 생성기와 비교하여 어떤 성능을 보이는가?
• RQ3 TabDDPM은 데이터 품질과 프라이버시 측면에서 SMOTE와 같은 단순한 베이스라인과 경쟁력이 있는가?
• RQ4 TabDDPM의 하이퍼파라미터 튜닝이 표형 작업에서 성능에 어떤 영향을 미치는가?

주요 결과

• TabDDPM은 ML 효율성 측면에서 여러 데이터셋에서 선도적인 표형 GAN/ VAE 베이스라인보다 자주 우수하게 나타난다.
• TabDDPM은TVAE 및 CTABGAN+에 비해 보다 현실적인 특징 분포 및 상관관계를 정성적 평가에서 더 잘 생성한다.
• Smote와 비교할 때 TabDDPM은 여러 데이터셋에서 ML 효율성 면에서 경쟁적이거나 우수하며 더 나은 프라이버시 특성을 보인다.
• TabDDPM의 하이퍼파라미터를 조정하는 것은 효과성에 강한 영향을 주며 CatBoost 지향 조정은 CatBoost 전용 평가를 넘어서 일반화된다.
• 프라이버시 민감한 설정에서 TabDDPM은 실제 데이터와의 거리가 더 큰 것으로 나타나(실데이터 재생산 위험이 적음) SMOTE보다 낮은 재현 위험을 시사한다.