[논문 리뷰] On the Usefulness of Synthetic Tabular Data Generation

Dionysis Manousakas, Sergül Aydöre|arXiv (Cornell University)|2023. 06. 27.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 데이터 공유, 요약, 증강, 클래스 균형 조절의 네 가지 응용 사례에서 기계 학습 훈련을 위한 합성 표본 데이터의 유용성을 평가한다. 생성 모델 기술의 발전에도 불구하고, 저자들은 합성 데이터를 사용할 경우 후행 기계 학습 성능에서 일관된 향상이 없음을 발견하였으며, 현재의 방법들이 실재 데이터로만 훈련하는 것보다 모델의 효능을 신뢰성 있게 향상시키지 못한다고 결론 내린다.

ABSTRACT

Despite recent advances in synthetic data generation, the scientific community still lacks a unified consensus on its usefulness. It is commonly believed that synthetic data can be used for both data exchange and boosting machine learning (ML) training. Privacy-preserving synthetic data generation can accelerate data exchange for downstream tasks, but there is not enough evidence to show how or why synthetic data can boost ML training. In this study, we benchmarked ML performance using synthetic tabular data for four use cases: data sharing, data augmentation, class balancing, and data summarization. We observed marginal improvements for the balancing use case on some datasets. However, we conclude that there is not enough evidence to claim that synthetic tabular data is useful for ML training.

연구 동기 및 목표

• 실제 응용 사례에서 합성 표본 데이터가 후행 기계 학습 성능을 향상시킬 수 있는지 평가하기 위해.
• 데이터 증강, 클래스 균형 조절, 데이터 요약, 데이터 공유 환경에서 생성 모델의 효과성을 평가하기 위해.
• 표본 기반 벤치마크 모델 훈련에서 합성 데이터가 실재 데이터의 성능을 따라하거나 초월할 수 있는지 판단하기 위해.
• 기존 문헌에서 자주 생략되는 실제 운영 환경 시뮬레이션을 통해 현재 합성 데이터 평가의 격차를 규명하기 위해.
• 최신 표본 생성 모델이 기계 학습 훈련의 효율성과 정확도 향상에 있어 제한된 바를 실증적으로 제시하기 위해.

제안 방법

• 네 가지 사용 사례를 벤치마킹: 데이터 공유(기본: TS-TR), 요약(실재 데이터 대체), 데이터 증강(기본: TA-TR), 클래스 균형 조절(소수 클래스에 대한 조건부 생성).
• 두 가지 생성 모델링 접근법을 사용: 새로 시작하여 훈련한 심층 생성 모델(DGMs)과 미세조정된 사전 훈련된 대규모 언어 모델(LLMs).
• 실재 데이터의 10%, 50%, 100%를 사용하여 스케일러빌리티와 데이터 효율성을 평가하기 위해 훈련 집합을 부분적으로 제공.
• 합성 또는 증강된 데이터로 훈련한 후, 실재 테스트 세트에서 AutoGluon 분류기로 후행 성능을 평가.
• 실재 데이터 기준선 및 SMOTE를 사용하여 클래스 균형 조절에서의 성능을 비교하며, 표준 예측 지표(AUC, 정확도 등)를 사용.
• 모델 독립적이고 일반적인 표본 기반 학습 작업에 집중하여 다양한 데이터셋에 대한 일반 적용 가능성을 평가.

Figure 1: ( Synthetic data quality experiment ) Predictive performance of a downstream AutoGluon classifier, which uses synthetic training data sampled from generative models that have been trained on increasing subsets of the real data. The number of synthetic training datapoints increases along th

실험 결과

연구 질문

• RQ1 데이터 공유 환경에서 합성 표본 데이터가 실재 데이터와 동일하거나 더 높은 후행 기계 학습 성능을 달성할 수 있는가?
• RQ2 합성 데이터는 실재 데이터의 통계 정보를 얼마나 효율적으로 압축하여 효율적인 요약을 가능하게 하는가?
• RQ3 합성 샘플을 사용한 데이터 증강이 자료가 부족하거나 불균형한 표본 기반 학습 작업에서 예측 정확도를 향상시키는가?
• RQ4 합성 데이터의 조건부 생성이 클래스 분포를 효과적으로 균형 조절하고 모델의 공정성 또는 성능을 향상시키는가?
• RQ5 현재 최신 표본 생성 모델이 다양한 실제 응용 사례에서 일관되게 효과적인가?

주요 결과

• 데이터 공유(TS-TR)에서 합성 데이터 성능은 실재 데이터와 유사했지만, 데이터셋 간 일관된 향상은 관찰되지 않았다.
• 요약에 있어서는 합성 데이터가 동일한 양의 실재 데이터보다 후행 성능이 떨어졌으며, 무작위 서브셋에 비해도 근소한 이득에 그쳤다.
• 데이터 증강에서는 합성 데이터가 모델 성능 향상에 일관되게 기여하지 못했으며, 실재 데이터만 사용한 경우와 비슷하거나 더 나쁜 결과를 보였다.
• 클래스 균형 조절에서는 합성 데이터가 네 개의 데이터셋 중 두 개에서 실재 데이터 및 SMOTE보다 근소하게 뛰어났지만, AUC나 정확도에서 유의미한 향상은 없었다.
• 전반적으로 평가된 응용 사례 전반에서 합성 표본 데이터가 기계 학습 훈련의 효능을 높이는 데 일관된 증거가 없었다.
• 본 연구는 문헌에서 중요한 격차를 드러내며, 실제 운영 환경 시뮬레이션은 자주 생략되며, 현재의 방법들이 실재 데이터를 초월해 모델 성능을 신뢰성 있게 향상시키지 못한다는 점을 강조한다.

Figure 2: ( Data summarization experiment ) Predictive performance of a downstream AutoGluon classifier which uses synthetic training data sampled from a generative model that has been trained on the full real dataset. The number of synthetic training data increases along the $x$ -axis.