[論文レビュー] Generation and Simulation of Synthetic Datasets with Copulas

Régis Houssou, Mihai-Cezar Augustin+3 more|arXiv (Cornell University)|Mar 30, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、混合数値変数およびカテゴリカル変数を含む多次元データの周辺分布および複雑な依存構造を保持する、コプシラベースの手法を提案する。カテゴリカル特徴量をランクに変換し、依存関係を捉えるためにコプシラモデリングを適用し、その後逆変換を実行することで、SMOTE やオートエンコーダーと比較して、結合分布および相関構造の維持において優れた性能を示す。実世界のデータセットを用いた検証により、その有効性が裏付けられている。

ABSTRACT

This paper proposes a new method to generate synthetic data sets based on copula models. Our goal is to produce surrogate data resembling real data in terms of marginal and joint distributions. We present a complete and reliable algorithm for generating a synthetic data set comprising numeric or categorical variables. Applying our methodology to two datasets shows better performance compared to other methods such as SMOTE and autoencoders.

研究の動機と目的

• データ不足およびプライバシー制約に対処するため、実データ分布を模倣する高精度な合成データセットを生成すること。
• 数値変数およびカテゴリカル変数を併用する合成データ生成のための堅牢でエンドツーエンドのアルゴリズムを開発すること。
• 特にカテゴリカル特徴量間の複雑な依存構造を、SMOTE やオートエンコーダーなどの既存手法よりも正確に保持すること。
• 政府、学術機関、産業界間での安全でプライベートかつ効率的なデータ共有を可能にすること。
• 特に低データ環境において、ディープラーニングベースの生成モデルの代替として統計的に妥当な代替手段を提供すること。

提案手法

• 変数間の依存構造をモデル化するため、周辺分布と結合依存を分離するコプシラの使用。
• コプシラモデリングのため、元のデータを[0,1]区間の一様分布変量に変換するための確率積分変換の適用。
• コプシラベースのモデリングが可能になるよう、カテゴリカル変数をランクに変換し、その後逆変換によりカテゴリカルラベルを回復する。
• 適合したコプシラモデルに逆確率積分変換を適用して合成データをシミュレートする。
• 依存関係および関連性の維持を評価するため、ケンドールのtauおよびカイ二乗検定の使用。
• クロスタブレーションおよび相関分析を用いて、コプシラベース手法とSMOTEおよびオートエンコーダーに基づく手法の比較。

実験結果

リサーチクエスチョン

• RQ1 コプシラベースの合成データ生成は、混合数値およびカテゴリカル変数を含む実データセットの結合分布および依存構造を保持できるか？
• RQ2 コプシラ手法は、合成データセットにおけるカテゴリカル特徴量間の関連性をSMOTE やオートエンコーダーと比較して、どの程度良好に維持できるか？
• RQ3 カテゴリカル特徴量の変換後に、連続変数間の相関構造は、コプシラ手法によってどの程度正確に保持されるか？
• RQ4 提案手法は、希少な関連性を示す高次元のカテゴリカルデータに対しても効果的に対処できるか？
• RQ5 限られたサンプルサイズと複雑な依存パターンを有する実世界のデータセットに対しても、コプシラフレームワークは信頼性を持って適用可能か？

主な発見

• コプシラベース手法は、特に強く関連する水準を示すカテゴリカル特徴量間のクロスタブ構造を、SMOTE やオートエンコーダーと比較してよりよく保持した。
• SMOTEは、独立性のカイ二乗検定で有意なp値が得られたことから、カテゴリカル変数間の関連性が低下したノイズの多い分布を生成した。
• オートエンコーダーは極めて歪んだ分布を生成し、特定の通貨水準に集中し、元の関連パターンを歪めた。カイ二乗検定では独立性が棄却されなかった。
• 合成データにおける連続変数間のケンドールのtau相関は、コプシラ手法が元のデータに近く一致したが、オートエンコーダーは誤った負の相関を導入した。
• 視覚的および統計的分析により、コプシラ手法はSMOTE やオートエンコーダーと比較して、周辺分布および依存構造をより忠実に維持した。
• 本手法は、たとえば約1,000件のレコードを含む小さなデータセットに対しても有効であるが、将来的な課題として、大規模かつ高次元のカテゴリカルデータセットへのスケーラビリティの向上が残されている。