[論文レビュー] Synthetic data, real errors: how (not) to publish and use synthetic data

Boris van Breugel, Zhaozhi Qian+1 more|arXiv (Cornell University)|May 16, 2023

Time Series Analysis and Forecasting被引用数 16

ひとこと要約

本論文は、合成データを実データとして扱うと下流モデルが不十分になり不確実性が生じることを示し、複数の合成データセットでモデルを訓練して生成過程の不確実性をより適切に捉える Deep Generative Ensemble (DGE) を導入している。

ABSTRACT

Generating synthetic data through generative models is gaining interest in the ML community and beyond, promising a future where datasets can be tailored to individual needs. Unfortunately, synthetic data is usually not perfect, resulting in potential errors in downstream tasks. In this work we explore how the generative process affects the downstream ML task. We show that the naive synthetic data approach -- using synthetic data as if it is real -- leads to downstream models and analyses that do not generalize well to real data. As a first step towards better ML in the synthetic data regime, we introduce Deep Generative Ensemble (DGE) -- a framework inspired by Deep Ensembles that aims to implicitly approximate the posterior distribution over the generative process model parameters. DGE improves downstream model training, evaluation, and uncertainty quantification, vastly outperforming the naive approach on average. The largest improvements are achieved for minority classes and low-density regions of the original data, for which the generative uncertainty is largest.

研究の動機と目的

• 素朴な合成データの使用が一般化能力を低下させ、評価を信頼できなくすることを示す。
• 生成モデルパラメータの事後分布を近似するために Deep Generative Ensemble (DGE) を導入する。
• DGE が下流モデルの訓練、評価、および不確実性定量化を改善することを示す。
• DGE が低密度域およびマイノリティ領域で特に良い性能を示す点を強調する。
• 合成データの公開者と利用者への実践的なガイドラインを提供する。

提案手法

• p(T|Dr) およびその成分を介して生成過程を組み込んだ下流タスク分布を定義する。
• K 個の独立な生成モデルを訓練し、パラメータの経験分布を用いて複数の合成データセットを生成する形で Deep Generative Ensemble (DGE) を提案する。
• （θ, Ds, T）上のモンテカルロサンプリングを用いて、平均や分散などの下流統計量を推定する。
• さまざまなデータセットに対して実データ上の下流性能を評価し、素朴な単一データセット訓練と DGE を比較する。
• 合成データ設定下でのモデル評価、モデル選択、および不確実性定量化を分析する。
• 生成モデルの過剰適合/不足適合に対する頑健性と、それが下位表現群に与える影響を示す。

Figure 1 : Synthetic data is not perfect, which affects downstream ML tasks, e.g. training a prediction model. The naive synthetic data approach generates one synthetic dataset and treats it like it is real. We propose using an ensemble of generative models for capturing the generative uncertainty,

実験結果

リサーチクエスチョン

• RQ1 合成データを実データとして扱うことは、下流モデルの性能と不確実性に如何に影響するか？
• RQ2 複数データセットの合成フレームワーク（DGE）は、生成モデルパラメータの真の事後分布をより良く近似できるか？
• RQ3 複数の合成データセットを公開することは、素朴な方法と比較して下流評価、モデル選択、および不確実性定量化を改善するか？
• RQ4 生成的不確実性は低密度域またはマイノリティ領域の性能に如何に影響するか？
• RQ5 合成データを公開・利用する際にデータ公開者と利用者が従うべき実用的なガイドラインは何か？

主な発見

• 合成データセットのアンサンブル（DGE）で訓練すると、素朴な単一データセット訓練と比較して実データ類似の性能を得られる。
• 素朴な評価は実世界の性能を過大評価しがちで、特に生成モデルが過剰適合する場合にそうなるが、DGE はより保守的で頑健な推定を提供する。
• DGE は下流タスクの実世界のモデルランキングをよりよく保持し、過度に複雑なモデルへの選択バイアスを減らす。
• DGE は生成的不確実性を捉えることで、予測的不確実性を生成変動と一致させ、不確実性定量化を向上させる。
• DGE の性能向上は、低密度域/マイノリティ領域および生成器が不完全な場合に最も大きい。
• 別々の合成データセット（メタデータ付き）を公開することは、生成的不確実性の適切な推定を可能にする。

Figure 2 : Conclusions drawn from synthetic data do not always transfer to real data.