[論文レビュー] Copula Flows for Synthetic Data Generation

Sanket Kamthe, Samuel Assefa+1 more|arXiv (Cornell University)|Jan 3, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 38

ひとこと要約

この論文は Copula Flows を導入する。正規化フローに基づくコプラモデルで混合型コプラを学習し高忠実度の合成データを生成、密度推定と下流MLタスクで高性能。離離散と連続変数を distributional transform と marginal/copula flows で扱う。

ABSTRACT

The ability to generate high-fidelity synthetic data is crucial when available (real) data is limited or where privacy and data protection standards allow only for limited use of the given data, e.g., in medical and financial data-sets. Current state-of-the-art methods for synthetic data generation are based on generative models, such as Generative Adversarial Networks (GANs). Even though GANs have achieved remarkable results in synthetic data generation, they are often challenging to interpret.Furthermore, GAN-based methods can suffer when used with mixed real and categorical variables.Moreover, loss function (discriminator loss) design itself is problem specific, i.e., the generative model may not be useful for tasks it was not explicitly trained for. In this paper, we propose to use a probabilistic model as a synthetic data generator. Learning the probabilistic model for the data is equivalent to estimating the density of the data. Based on the copula theory, we divide the density estimation task into two parts, i.e., estimating univariate marginals and estimating the multivariate copula density over the univariate marginals. We use normalising flows to learn both the copula density and univariate marginals. We benchmark our method on both simulated and real data-sets in terms of density estimation as well as the ability to generate high-fidelity synthetic data

研究の動機と目的

• プライバシーとデータ制約のある設定での合成データ生成を動機づける。
• コプラと normalising flows に基づく解釈可能で柔軟な確率的生成器を提案する。
• 統一的な枠組みで混合データ型（連続と離散）を有効化する。
• 密度推定の精度と ML タスクのための合成データの有用性を実証する。

提案手法

• joint density を f_X(X) = c_X(F_X1,...,F_Xd) * ∏ f_Xk (Equation 5).
• marginal flows F_Xk (univariate) を monotone neural spline flows (NSF) で学習する。
• copula flow C_X を autoregressive/conditional flow として neural splines (conditional CDFs) で学習する。
• distributional transform を用いて離散/混合 marginals を copula 学習に対応させる (Section 4.2).
• データを inverse transform sampling で生成する: U ~ Uniform(0,1) → C_X^{-1}(U) → F_Xk^{-1}(·) で X を得る。
• 全体の log-likelihood L = L_{C_X} + L_{F} を最大化し、コプラの前に marginals を学習する (Section 3).

実験結果

リサーチクエスチョン

• RQ1 離散変数を含む複雑で混合型の結合分布を explicit pair-copula 構造なしに Copula-based flow モデルで学習できるか？
• RQ2 提案手法の Copula Flow は密度推定で最先端のニューラル密度推定器と比較してどの程度優れているか？
• RQ3 Copula Flows は変数間の関係を保持する合成データを生成し、下流 ML タスクに有用か？
• RQ4 離散データを distributional transforms を介して normalising-flow copula 枠組み内で効果的に組み込むにはどうするか？

主な発見

Model	Power	Gas	Hepmass	Miniboone
FFJORD	0.46±0.01	8.59±0.12	-14.92±0.08	-10.43±0.04
RQ-NSF (AR) [Durkan et al., 2019]	0.66±0.01	13.09±0.02	-14.01±0.03	-9.22±0.48
MAF [Papamakarios et al., 2017]	0.45±0.01	12.35±0.02	-17.03±0.02	-10.92±0.46
Marginal Flows 𝔽	-0.80±0.02	-6.67±0.02	-26.42±0.05	-53.17±0.06
Copula Flow 𝒞	1.39±0.03	15.6±0.67	5.4±0.10	37.77±0.21
Joint Model 𝒞+𝔽	0.59±0.03	8.05±0.68	-19.6±0.12	-14.83±0.21

• Copula Flows は distributional transforms を用いて混合離散・連続 marginals の上で copulas を学習できる (Theorem 4.2: universal density approximator).
• モデルは benchmark データセット上で密度推定性能が、最先端のニューラル推定器に近い競合的な水準を達成する (Table 1).
• Copula Flows による合成データは ML の性能（分類/回帰）が実データに近く、主要手法と競合する (Table 2).
• 離散 marginals は quantised distributions と stochastic distributional transform を介して連続 copula 学習を可能とする (Figures and discussion in Section 4).
• Copula Flow は標準的な二変数 copula が捉えにくい複雑な結合構造（例: “2 rings”）をモデル化できる (Figure 1).
• Copula Flow は differential privacy 拡張の可能性を含む完全合成データパイプラインをサポートする (Conclusion and Broader Impact).