[論文レビュー] Comprehensive Exploration of Synthetic Data Generation: A Survey

André Bauer, Simon Trapp+6 more|arXiv (Cornell University)|Jan 4, 2024

Cellular Automata and Applications被引用数 17

ひとこと要約

この調査は過去10年間の417のSDGモデルを分析し、20のモデルタイプと42のサブタイプを特定し、SDGモデル選択のガイドラインを提供するとともに、トレンド、指標のギャップ、および費用の懸念を強調します。

ABSTRACT

Recent years have witnessed a surge in the popularity of Machine Learning (ML), applied across diverse domains. However, progress is impeded by the scarcity of training data due to expensive acquisition and privacy legislation. Synthetic data emerges as a solution, but the abundance of released models and limited overview literature pose challenges for decision-making. This work surveys 417 Synthetic Data Generation (SDG) models over the last decade, providing a comprehensive overview of model types, functionality, and improvements. Common attributes are identified, leading to a classification and trend analysis. The findings reveal increased model performance and complexity, with neural network-based approaches prevailing, except for privacy-preserving data generation. Computer vision dominates, with GANs as primary generative models, while diffusion models, transformers, and RNNs compete. Implications from our performance evaluation highlight the scarcity of common metrics and datasets, making comparisons challenging. Additionally, the neglect of training and computational costs in literature necessitates attention in future research. This work serves as a guide for SDG model selection and identifies crucial areas for future exploration.

研究の動機と目的

• 過去10年間のSDG文献を調査し、すべての実用的なモデルタイプを網羅する。
• SDGモデルをカテゴリ、タイプ、サブタイプに分類して全体像をマッピングする。
• SDGモデルの適用、改善点、および性能の傾向を分析する。
• 与えられたタスクに適したSDGモデルを選択する実用的なガイドラインを提供する。
• 知識基盤を確立し、今後のSDG研究のギャップを特定する。

提案手法

• 417 SDGモデルを20のモデルタイプと42のサブタイプに分類する。
• 複雑さと性能の成長を観察するため、10を超える基準にわたってトレンド分析を行う。
• 生成データタイプ、性能、プライバシー、学習プロセス別にモデルを分類する。
• 知見を統合し、モデルタイプ選択の実用的なガイドラインを作成する。
• 評価指標とデータセットの制約を強調し、将来の標準化を支援する。

実験結果

リサーチクエスチョン

• RQ1 過去10年でどのSDGモデルタイプとサブタイプが検討されてきたか？
• RQ2 生成データタイプ、性能、プライバシー、学習要件によってSDGモデルはどう異なるか？
• RQ3 SDGにおける主要な応用分野と主導的な生成アプローチは何か？
• RQ4 SDG研究における評価指標、データセット、および費用考慮のギャップは何か？
• RQ5 特定のタスクに適したSDGモデルを選択する際、研究者を支援するガイドラインは何か？

主な発見

• 文献は時間の経過とともにモデルの複雑さと性能が増大していることを示している。
• ニューラルネットワークベースのSDGアプローチが優勢で、特にコンピュータビジョンで顕著だが、プライバシー保護手法はより単純な確率モデルを好む。
• GANsと拡散モデルはコンピュータビジョンで上位のパフォーマーであり、連続データにはRNNが主導している。
• プライバシー保護SDGは頻繁にマルコフ連鎖、ベイズネットワーク、GANsを使用し、プライバシーへの多様なアプローチを反映している。
• 共通の評価指標とデータセットの不足により、モデル間の比較が妨げられている。
• トレーニングおよび計算コストはSDG文献で過小報告されており、費用を意識した評価の必要性を示している。
• 本研究はSDGモデル選択の実用的なガイドラインを提供し、今後の探究が必要な重要領域を強調している。