[논문 리뷰] Synthetic data, real errors: how (not) to publish and use synthetic data

Boris van Breugel, Zhaozhi Qian외 1명|arXiv (Cornell University)|2023. 05. 16.

Time Series Analysis and Forecasting인용 수 16

한 줄 요약

이 논문은 합성 데이터를 실제 데이터처럼 다루면 다운스트림 모델과 불확실성이 저하되며, 보다 제네레이티브 불확실성을 포착하기 위해 여러 합성 데이터 세트에서 모델을 학습하는 Deep Generative Ensemble (DGE)을 도입합니다.

ABSTRACT

Generating synthetic data through generative models is gaining interest in the ML community and beyond, promising a future where datasets can be tailored to individual needs. Unfortunately, synthetic data is usually not perfect, resulting in potential errors in downstream tasks. In this work we explore how the generative process affects the downstream ML task. We show that the naive synthetic data approach -- using synthetic data as if it is real -- leads to downstream models and analyses that do not generalize well to real data. As a first step towards better ML in the synthetic data regime, we introduce Deep Generative Ensemble (DGE) -- a framework inspired by Deep Ensembles that aims to implicitly approximate the posterior distribution over the generative process model parameters. DGE improves downstream model training, evaluation, and uncertainty quantification, vastly outperforming the naive approach on average. The largest improvements are achieved for minority classes and low-density regions of the original data, for which the generative uncertainty is largest.

연구 동기 및 목표

• 합성 데이터를 단순히 사용하는 것이 일반화 성능 저하와 불신뢰성 있는 평가로 이어진다는 것을 입증한다.
• 생성 모형 매개변수의 포스터리를 근사하기 위해 Deep Generative Ensemble (DGE)을 도입한다.
• DGE가 다운스트림 모델의 학습, 평가 및 불확실성 정량화를 개선함을 보인다.
• DGE가 저밀도 및 소수자 영역에서 특히 잘 작동하는 방식을 강조한다.
• 합성 데이터 게시자와 사용자를 위한 실용적인 지침을 제공한다.

제안 방법

• 생성 프로세스를 포함한 다운스트림 작업 분포를 p(T|Dr)와 그 구성요소를 통해 정의한다.
• K개의 독립적인 생성 모델을 학습하고 매개변수에 대한 경험적 분포를 이용해 여러 합성 데이터 세트를 생성하는 방법으로 Deep Generative Ensemble (DGE)을 제안한다.
• (θ, Ds, T)에 대한 몬테카를로 샘플링을 이용해 평균 및 분산과 같은 다운스트림 통계를 추정한다.
• 다양한 데이터셋에 대해 실제 데이터에서의 다운스트림 성능을 평가하고, naive 단일 데이터셋 학습과 DGE를 비교한다.
• 합성 데이터 환경에서의 모델 평가, 모델 선택 및 불확실성 정량화를 분석한다.
• 생성기 과적합/부적합에 대한 강건성과 소수자 그룹에 미치는 영향을 설명한다.

Figure 1 : Synthetic data is not perfect, which affects downstream ML tasks, e.g. training a prediction model. The naive synthetic data approach generates one synthetic dataset and treats it like it is real. We propose using an ensemble of generative models for capturing the generative uncertainty,

실험 결과

연구 질문

• RQ1 합성 데이터를 실제처럼 다루는 것이 다운스트림 모델 성능과 불확실성에 어떤 영향을 미치는가?
• RQ2 다중 데이터셋 합성 프레임워크(DGE)가 생성 모형 매개변수의 진짜 포스터리를 더 잘 근사하는가?
• RQ3 게시된 여러 합성 데이터셋이 naive 방법에 비해 다운스트림 평가, 모델 선택 및 불확실성 정량화를 개선하는가?
• RQ4 생성적 불확실성이 저밀도 또는 소수자 영역의 성능에 어떤 영향을 미치는가?
• RQ5 합성 데이터를 게시하고 사용할 때 데이터 게시자와 사용자가 따라야 할 실용적 지침은 무엇인가?

주요 결과

• 합성 데이터 세트의 앙상블(DGE)에서 학습하면 naive 단일 데이터셋 학습에 비해 실제 데이터와 유사한 성능을 얻을 수 있다.
• 생성기가 과적합될수록 실제 세계 성능을 과대 추정하는 반면, DGE는 더 보수적이고 강건한 추정치를 제공한다.
• DGE는 다운스트림 작업에 대한 실제 세계 모델 순위를 더 잘 보존하고 과도하게 복잡한 모델에 대한 선택 편향을 줄인다.
• DGE는 생성적 불확실성을 포착해 예측 불확실성을 생성적 가변성과 일치시키면서 불확실성 정량화를 개선한다.
• DGE의 성능 향상은 저밀도/소수자 영역에서 더 크고, 생성기가 불완전할 때도 더 큰 이점을 보인다.
• 별도의 합성 데이터 세트(메타데이터 포함)를 게시하면 생성적 불확실성을 올바르게 추정할 수 있다.

Figure 2 : Conclusions drawn from synthetic data do not always transfer to real data.