[논문 리뷰] STaSy: Score-based Tabular data Synthesis

Jayoung Kim, Chaejeong Lee외 1명|arXiv (Cornell University)|2022. 10. 08.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

STaSy는 복잡한 다중 모드 컬럼 분포로 인해 일반적으로 실패하는 딥 생성 모델을 활용한 고품질, 다각도의 테이블 데이터 합성 문제를 해결하기 위해 스코어 기반 생성 모델링(SGM) 접근법을 제안한다. 자가 퍼스드 학습과 피니팅을 통해 샘플링 품질과 다양성을 향상시키며, 15개 벤치마크 데이터셋에서 7개 베이스라인을 모두 능가하여 품질(F1 & R²: 0.733)과 다양성(커버리지: 0.658)을 확보하고, 동시에 학습 시간도 균형 있게 유지한다.

ABSTRACT

Tabular data synthesis is a long-standing research topic in machine learning. Many different methods have been proposed over the past decades, ranging from statistical methods to deep generative methods. However, it has not always been successful due to the complicated nature of real-world tabular data. In this paper, we present a new model named Score-based Tabular data Synthesis (STaSy) and its training strategy based on the paradigm of score-based generative modeling. Despite the fact that score-based generative models have resolved many issues in generative models, there still exists room for improvement in tabular data synthesis. Our proposed training strategy includes a self-paced learning technique and a fine-tuning strategy, which further increases the sampling quality and diversity by stabilizing the denoising score matching training. Furthermore, we also conduct rigorous experimental studies in terms of the generative task trilemma: sampling quality, diversity, and time. In our experiments with 15 benchmark tabular datasets and 7 baselines, our method outperforms existing methods in terms of task-dependant evaluations and diversity. Code is available at https://github.com/JayoungKim408/STaSy.

연구 동기 및 목표

• 복잡하고 다중 모드인 컬럼 분포로 인해 일반적으로 실패하는 딥 생성 모델을 활용한 고품질, 다각도의 테이블 데이터 생성 문제를 해결하기 위해.
• 노이즈 제거 스코어 매칭을 활용해 샘플의 정밀도를 향상시키기 위해 스코어 기반 생성 모델링(SGM)을 테이블 데이터 합성에 적응시키기 위해.
• 손실 분산을 줄이고 모델 수렴을 향상시켜 SGM의 학습 안정성을 높이기 위해 자가 퍼스드 학습 및 피니팅 전략을 도입하여 테이블 데이터에서 SGM의 학습을 안정화시키기 위해.
• 다양한 실제 테이블 데이터셋을 대상으로 생성 학습의 삼위일체 문제—품질, 다양성, 학습 시간—을 철저히 평가하기 위해.
• 모든 세 가지 차원의 삼위일체 문제를 균형 있게 조율하여 테이블 데이터 합성 분야의 새로운 최고 기준을 설정하기 위해.

제안 방법

• 노이즈가 첨부된 분포에서의 샘플을 노이즈 제거함으로써 테이블 데이터를 생성하기 위해 역 SDE 과정을 사용하는 스코어 기반 생성 모델링(SGM)을 채택한다.
• 시간에 따라 변하는 스코어 네트워크 $ S_{\bm{\theta}}(\mathbf{x},t) $ 를 사용하여 스코어 함수 $ \nabla_{\mathbf{x}} \log p_t(\mathbf{x}) $ 를 근사함으로써, 노이즈 제거 스코어 매칭을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 손실 크기가 증가하는 순서로 데이터 레코드를 정렬하여 학습하는 자가 퍼스드 학습 전략을 도입함으로써, 더 쉬운(낮은 손실) 샘플부터 시작하여 학습을 안정화시킨다.
• 모델 파라미터를 낮은 학습률로 약간 조정하여 샘플링 품질과 다양성을 추가로 향상시키는 피니팅 단계를 적용한다.
• SDE 유형(VE, VP, sub-VP)과 레이어 유형(concat, squash, concatsquash)을 사용하고, 학습률, $ \alpha_0 $, $ \beta_0 $ 에 대한 초모델 하이퍼파라미터 서치를 수행한다.
• 학습 및 평가 중 효율적인 로그-확률 계산을 위해 허친슨 추정기와 라데마처 또는 가우시안 노이즈를 활용한다.

실험 결과

연구 질문

• RQ1 실제 컬럼의 복잡하고 다중 모드인 분포로 인해 스코어 기반 생성 모델링이 테이블 데이터 합성에 효과적으로 적용될 수 있는가?
• RQ2 자기 퍼스드 학습이 테이블 SGM의 노이즈 제거 스코어 매칭 학습 안정성과 수렴에 기여하는가?
• RQ3 피니팅이 기본 SGM 아키텍처를 초월하여 샘플링 품질과 다양성을 추가로 향상시킬 수 있는가?
• RQ4 STaSy는 생성 학습의 삼위일체 문제—품질, 다양성, 학습 시간—을 어떻게 균형 있게 다루는가?
• RQ5 STaSy는 합성된 테이블 데이터에서 모드 붕괴와 분포 이탈을 어느 정도 완화하는가?

주요 결과

• STaSy는 15개 벤치마크 데이터셋에서 샘플링 품질 점수 0.733(F1 & R²)와 다양성 0.658(커버리지)를 기록하여 모든 7개 베이스라인을 크게 능가한다.
• 기본 SGM에 대한 개선 조치 없이도 성능을 낼 수 있는 Naïve-STaSy 버전은 런타임 제외 모든 베이스라인을 능가하며, 품질 0.717과 다양성 0.637을 기록한다.
• 자기 퍼스드 학습은 학습을 안정화시키며 손실 분산을 감소시킨다. STaSy에서는 손실 분포가 0 근처에 집중되어 있음을 확인할 수 있으나, Naïve-STaSy는 긴 尾部 분포를 보이며 이는 안정성 부족을 시사한다.
• 피니팅은 품질과 다양성 양면에서 추가로 향상시키며, 초기 학습 후 모델 성능을 개선하는 데 효과적임을 입증한다.
• t-SNE 시각화를 통해 STaSy는 HTRU, Robot, News 데이터셋에서 CTGAN, TableGAN, RNODE보다 더 다양하고 현실적인 샘플을 생성함으로써 모드 붕괴를 효과적으로 완화함을 보였다.
• STaSy는 품질, 다양성, 시간의 우아한 트레이드오���을 유지하며, 런타임 10.663초로 OCT-GAN(26.926s)보다 빠르면서도 훨씬 높은 품질과 다양성을 확보한다.