[논문 리뷰] Comprehensive Exploration of Synthetic Data Generation: A Survey

André Bauer, Simon Trapp외 6명|arXiv (Cornell University)|2024. 01. 04.

Cellular Automata and Applications인용 수 17

한 줄 요약

본 연구는 지난 10년간의 417개 SDG 모델을 분석하고, 20가지 모델 유형과 42개의 하위 유형을 식별하며, SDG 모델 선택에 대한 가이드라인을 제시하면서 경향, 지표 격차, 비용 우려를 강조한다.

ABSTRACT

Recent years have witnessed a surge in the popularity of Machine Learning (ML), applied across diverse domains. However, progress is impeded by the scarcity of training data due to expensive acquisition and privacy legislation. Synthetic data emerges as a solution, but the abundance of released models and limited overview literature pose challenges for decision-making. This work surveys 417 Synthetic Data Generation (SDG) models over the last decade, providing a comprehensive overview of model types, functionality, and improvements. Common attributes are identified, leading to a classification and trend analysis. The findings reveal increased model performance and complexity, with neural network-based approaches prevailing, except for privacy-preserving data generation. Computer vision dominates, with GANs as primary generative models, while diffusion models, transformers, and RNNs compete. Implications from our performance evaluation highlight the scarcity of common metrics and datasets, making comparisons challenging. Additionally, the neglect of training and computational costs in literature necessitates attention in future research. This work serves as a guide for SDG model selection and identifies crucial areas for future exploration.

연구 동기 및 목표

• 지난 10년간의 SDG 문헌을 조사하여 모든 실용 가능한 모델 유형을 포괄한다.
• SDG 모델을 범주, 유형, 하위 유형으로 분류하여 전체 지형을 도식화한다.
• SDG 모델 전반의 응용, 개선사항 및 성능 추세를 분석한다.
• 주어진 작업에 적합한 SDG 모델을 선택하기 위한 실용적 가이드라인을 제공한다.
• 향후 SDG 연구를 위한 지식 기반을 구축하고 격차를 식별한다.

제안 방법

• 417 SDG 모델을 20개 모델 유형과 42개 하위 유형으로 분류한다.
• 복잡성 및 성능 증가를 관찰하기 위해 10개가 넘는 기준에 걸친 경향 분석을 수행한다.
• 생성된 데이터 유형, 성능, 프라이버시 및 학습 과정별로 모델을 분류한다.
• 발견 내용을 모델 유형 선택을 위한 실용적 가이드라인으로 종합한다.
• 향후 표준화에 도움이 되도록 평가 지표와 데이터 세트의 한계를 강조한다.

실험 결과

연구 질문

• RQ1 지난 10년간 어떤 SDG 모델 유형과 하위 유형이 탐구되었는가?
• RQ2 생성된 데이터 유형, 성능, 프라이버시 및 학습 요건에 따라 SDG 모델은 어떻게 달라지는가?
• RQ3 SDG에서 지배적인 적용 도메인과 선도적인 생성 방식은 무엇인가?
• RQ4 SDG 연구의 평가 지표, 데이터 세트 및 비용 고려 측면에서 어떤 격차가 존재하는가?
• RQ5 특정 작업에 적합한 SDG 모델을 선택하는 데 어떤 가이드라인이 연구자들을 도울 수 있는가?

주요 결과

• 문헌은 시간이 지남에 따라 모델의 복잡성과 성능이 증가하고 있음을 보여준다.
• 신경망 기반 SDG 접근법이 지배적이며, 특히 컴퓨터 비전에서 두드러지고, 프라이버시 보존 방법은 더 단순한 확률 모델을 선호한다.
• GANs와 확산 모델은 컴퓨터 비전에서 상위 성능 중 하나이며, 순차 데이터에서는 RNN이 선도한다.
• 프라이버시 보존 SDG는 종종 Markov chains, Bayesian networks, 및 GANs를 사용하여 프라이버시에 대한 다양한 접근을 반영한다.
• 일반적인 평가 지표와 데이터 세트의 부족으로 모델 간 비교가 어렵다.
• 학습 및 계산 비용이 SDG 문헌에서 과소 보고되어 비용 인식 평가의 필요성이 시사된다.
• 이 연구는 SDG 모델 선택에 대한 실용적 가이드를 제공하고 향후 탐색이 필요한 핵심 영역을 강조한다.