[논문 리뷰] Copula Flows for Synthetic Data Generation

Sanket Kamthe, Samuel Assefa외 1명|arXiv (Cornell University)|2021. 01. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 38

한 줄 요약

이 논문은 혼합형 타입의 코퓰라를 학습하고 고충실도 합성 데이터를 생성하기 위한 정상화 흐름 기반 코퓰라 모델인 Copula Flows를 소개하며, 밀도 추정 및 다운스트림 ML 작업에서 강력한 성능을 보인다. 이 모델은 분포 변환(distributional transform) 및 주변/코퓰라 흐름을 통해 이산 변수와 연속 변수를 처리한다.

ABSTRACT

The ability to generate high-fidelity synthetic data is crucial when available (real) data is limited or where privacy and data protection standards allow only for limited use of the given data, e.g., in medical and financial data-sets. Current state-of-the-art methods for synthetic data generation are based on generative models, such as Generative Adversarial Networks (GANs). Even though GANs have achieved remarkable results in synthetic data generation, they are often challenging to interpret.Furthermore, GAN-based methods can suffer when used with mixed real and categorical variables.Moreover, loss function (discriminator loss) design itself is problem specific, i.e., the generative model may not be useful for tasks it was not explicitly trained for. In this paper, we propose to use a probabilistic model as a synthetic data generator. Learning the probabilistic model for the data is equivalent to estimating the density of the data. Based on the copula theory, we divide the density estimation task into two parts, i.e., estimating univariate marginals and estimating the multivariate copula density over the univariate marginals. We use normalising flows to learn both the copula density and univariate marginals. We benchmark our method on both simulated and real data-sets in terms of density estimation as well as the ability to generate high-fidelity synthetic data

연구 동기 및 목표

• privacy 및 데이터 제한 설정에서 합성 데이터 생성을 동기화한다.
• 코퓰라와 정상화 흐름에 기초한 해석 가능하고 유연한 확률 생성기를 제안한다.
• 연속 및 이산 데이터가 모두 포함된 혼합 데이터 타입을 하나의 프레임워크에서 다룰 수 있게 한다.
• 밀도 추정 정확도 및 합성 데이터의 ML 작업 활용성을 실증한다.”

제안 방법

• 결합 밀도 f_X(X) = c_X(F_X1,...,F_Xd) * ∏ f_Xk (Equation 5)에 따라 표현한다.
• 단변량 모형의 주변 흐름 F_Xk를 monotone neural spline flows (NSF)로 학습한다.
• Copula flow C_X를 신경 스플라인(조건부 CDFs)을 이용한 자기회귀/조건부 흐름으로 학습한다.
• 분포 변환(distributional transform)을 사용하여 코퓰라 학습을 위한 이산/혼합 주변 분포를 처리한다(Section 4.2).
• 역변환 샘플링(inverse transform sampling)을 통해 데이터를 생성한다: U ~ Uniform(0,1) → C_X^{-1}(U) → F_Xk^{-1}(·)로 X를 얻는다.
• 총 로그 가능도 L = L_{C_X} + L_{F}를 최대화하고, 코퓰라 이전에 주변을 학습한다(Section 3).

실험 결과

연구 질문

• RQ1 코퓰라 기반 흐름 모델이 명시적 페어-코퓰라 구조 없이도 이산 변수를 포함한 복잡하고 혼합형 유형의 결합 분포를 학습할 수 있는가?
• RQ2 제안된 Copula Flow가 밀도 추정에서 최첨단 신경 밀도 추정기와 비교해 얼마나 잘 수행하는가?
• RQ3 Copula Flows가 변수 간 관계를 보존하는 합성 데이터를 생성하고 다운스트림 ML 작업에 유용하게 작용할 수 있는가?
• RQ4 정규화 흐름 코퓰라 프레임워크 내에서 이산 데이터를 배포 변환(distributional transforms)을 통해 효과적으로 통합할 수 있는가?

주요 결과

모델	Power	Gas	Hepmass	Miniboone
FFJORD	0.46±0.01	8.59±0.12	-14.92±0.08	-10.43±0.04
RQ-NSF (AR) [Durkan et al., 2019]	0.66±0.01	13.09±0.02	-14.01±0.03	-9.22±0.48
MAF [Papamakarios et al., 2017]	0.45±0.01	12.35±0.02	-17.03±0.02	-10.92±0.46
Marginal Flows 𝔽	-0.80±0.02	-6.67±0.02	-26.42±0.05	-53.17±0.06
Copula Flow 𝒞	1.39±0.03	15.6±0.67	5.4±0.10	37.77±0.21
Joint Model 𝒞+𝔽	0.59±0.03	8.05±0.68	-19.6±0.12	-14.83±0.21

• Copula Flows는 분포 변환(distributional transforms)을 사용하여 이산 및 연속 주변 분포를 혼합한 코퓰라를 학습할 수 있다(Theorem 4.2: universal density approximator).
• 모델은 벤치마크 데이터셋에서 최첨단 신경 추정기와 근접한 수준의 밀도 추정 성능을 달성한다(Table 1).
• Copula Flows가 생성한 합성 데이터는 실제 데이터에 근접한 ML 성능(분류/회귀)을 보이며 주요 방법들과 경쟁력이 있다(Table 2).
• 이산 주변 분포는 양자화된 분포와 확률적 distributional transform을 통해 처리되어 연속 코퓰라 학습이 가능하다(Section 4의 그림 및 논의).
• Copula Flow는 표준 이변수 코퓰라가 포착하기 어려운 복잡한 결합 구조(예: “2 rings”)를 모델링할 수 있다(Figure 1).
• Copula Flow는 차등 프라이버시 확장 가능성을 가진 완전 합성 데이터 파이프라인을 지원한다(Conclusion and Broader Impact).