[논문 리뷰] Mixed-Type Tabular Data Synthesis with Score-based Diffusion in Latent Space

Hengrui Zhang, Jiani Zhang외 6명|arXiv (Cornell University)|2023. 10. 14.

Cancer-related molecular mechanisms research인용 수 23

한 줄 요약

TabSyn은 학습된 잠재 공간에서 확산 모델을 제안합니다(Transformer 및 적응 손실이 있는 VAE를 통해) 혼합형 표 데이터(tabular data)를 합성하여 이전 방법보다 더 빠른 샘플링과 더 높은 데이터 품질을 달성합니다.

ABSTRACT

Recent advances in tabular data generation have greatly enhanced synthetic data quality. However, extending diffusion models to tabular data is challenging due to the intricately varied distributions and a blend of data types of tabular data. This paper introduces Tabsyn, a methodology that synthesizes tabular data by leveraging a diffusion model within a variational autoencoder (VAE) crafted latent space. The key advantages of the proposed Tabsyn include (1) Generality: the ability to handle a broad spectrum of data types by converting them into a single unified space and explicitly capture inter-column relations; (2) Quality: optimizing the distribution of latent embeddings to enhance the subsequent training of diffusion models, which helps generate high-quality synthetic data, (3) Speed: much fewer number of reverse steps and faster synthesis speed than existing diffusion-based methods. Extensive experiments on six datasets with five metrics demonstrate that Tabsyn outperforms existing methods. Specifically, it reduces the error rates by 86% and 67% for column-wise distribution and pair-wise column correlation estimations compared with the most competitive baselines.

연구 동기 및 목표

• 복합적인 열 간 관계를 갖는 혼합형 표 데이터에 대해 향상된 생성 모델링의 필요성을 제시한다.
• 수치형 및 범주형 특성을 함께 모델링할 수 있는 통합 잠재 공간을 개발한다.
• 기존의 확산 기반 표 데이터 방법에 비해 샘플 품질과 생성 속도를 향상시킨다.
• 저차 및 고차 통계와 다운스트림 작업을 포함한 여러 데이터셋 및 평가 지표에서 견고함을 입증한다.

제안 방법

• 열별 토크나이저와 Transformer 인코더를 통해 원시 표 데이터를 연속 임베딩 공간으로 변환한다.
• 적응 손실 가중치를 갖는 변분 오토인코더(VAE)를 사용해 정보가 풍부하고 매끄러운 잠재 임베딩을 학습한다.
• 선형 노이즈 스케줄(sigma(t)=t)을 사용하는 노이즈 제거 점수 매칭으로 잠재 공간에서 점수 기반 확산 모델을 학습한다.
• 잠재 표현으로부터 원래 열 값을 재구성하기 위해 detokenizer를 적용한다.
• 선형 노이즈 스케줄이 역과정 오차를 감소시키고 샘플링 속도를 높인다는 이론적 정당성과 실증적 증거를 제시한다(NFEs가 20 미만).
• 여섯 개의 혼합형 데이터 세트에서 열별 밀도, 쌍별 상관관계, MLE, 누락 값 보간 작업을 사용하여 TabSyn을 일곱 개의 베이스라인과 비교 평가한다.

Figure 1: TabSyn wins: Our TabSyn method consistently outperforms SOTA tabular data generation methods across five data quality metrics.

실험 결과

연구 질문

• RQ1 혼합형 표 데이터에서 학습된 잠재 공간에서 확산 모델이 효과적으로 작동할 수 있는가?
• RQ2 열 인지 토크나이저와 Transformer 기반 VAE가 기존 방법보다 열 간 관계를 더 잘 보존하나?
• RQ3 선형 노이즈 스케줄이 빠르고 고품질의 확산 기반 표 데이터 합성을 가능하게 하는가?
• RQ4 TabSyn은 저차(밀도, 상관) 및 고차(정밀도/재현율) 지표와 다운스트림 작업에서 어떻게 수행하는가?
• RQ5 적응형 베타-VAE 학습이 잠재 공간 정규화 및 재구성 품질에 이로운가?

주요 결과

• TabSyn은 열별 밀도 추정 및 쌍별 열 상관에서 일관되게 기준 방법을 능가하며, 각각 평균 86.0%, 67.6%의 오차를 감소시킨다.
• TabSyn은 six datasets에서 분류/회귀 등 기계 학습 효율성과 누락 값 보간 성능이 우수하다.
• 선형 확산 노이즈 스케줄(sigma(t)=t)은 20개 미만의 역단계를 사용해 고품질 샘플 생성을 가능하게 하여 샘플링을 가속화한다.
• 잠재 공간 확산(TabSyn-DDPM)은 일반적으로 데이터 공간의 확산보다 우수한 성능을 보이며, 표 데이터에 대해 잠재 임베딩을 학습하는 이점을 강조한다.
• 스케줄된 베타-VAE는 잠재 공간의 과도한 규제 없이 재구성을 개선하고 다운스트림 합성 데이터의 품질을 향상시킨다.

Figure 2: An overview of the proposed TabSyn . Each row data $x$ is mapped to latent space $z$ via a column-wise tokenizer and an encoder. A diffusion process $z_{0}\rightarrow z_{T}$ is applied in the latent space. Synthesis $z_{T}\rightarrow z_{0}$ starts from the base distribution $p(z_{T})$ and