[論文レビュー] AutoDiff: combining Auto-encoder and Diffusion model for tabular data synthesizing

Namjoon Suh, Xiaofeng Lin+3 more|arXiv (Cornell University)|Oct 24, 2023

Topic Modeling被引用数 5

ひとこと要約

AutoDiffは、変分オートエンコーダー（VAEs）とスコアベースの拡散モデルを組み合わせることで、高精度な合成表形式データを生成する新しい表形式データ合成手法を提案する。周図的変数（数値型、離散型、混合型）を周波数ベースのダミー符号化により処理することで、非一様な特徴間の相関関係を的確に捉え、15のデータセットにおいて統計的整合性と下流の機械学習用途の両面で、最先端のGANおよび拡散モデルを上回る性能を発揮する。

ABSTRACT

Diffusion model has become a main paradigm for synthetic data generation in many subfields of modern machine learning, including computer vision, language model, or speech synthesis. In this paper, we leverage the power of diffusion model for generating synthetic tabular data. The heterogeneous features in tabular data have been main obstacles in tabular data synthesis, and we tackle this problem by employing the auto-encoder architecture. When compared with the state-of-the-art tabular synthesizers, the resulting synthetic tables from our model show nice statistical fidelities to the real data, and perform well in downstream tasks for machine learning utilities. We conducted the experiments over $15$ publicly available datasets. Notably, our model adeptly captures the correlations among features, which has been a long-standing challenge in tabular data synthesis. Our code is available at https://github.com/UCLA-Trustworthy-AI-Lab/AutoDiffusion.

研究の動機と目的

• 異種の特徴（数値型、離散型、混合型）を有する表形式データを生成する課題に取り組み、統計的整合性を維持すること。
• 従来のGANベースのモデル（例：CTGAN）や拡散モデルベースのモデル（例：Stasy, TabDDPM）が有する、複雑な相関関係や混合型特徴のモデル化における限界を克服すること。
• 実際の特徴分布と特徴間依存関係を維持する合成データを生成することで、下流の機械学習用途における有用性を向上させること。
• 距離の最も近いレコードまでの距離（DCR）指標を分析することで、プライバシーに配慮した生成を実現し、記憶リスクとデータ有用性のバランスを取ること。

提案手法

• 異種の表形式特徴を連続的な潜在空間にマップするための変分オートエンコーダー（VAE）を採用し、複雑なデータ分布のエンドツーエンド学習を可能にする。
• 繰り返し値を含む混合型特徴の符号化に、周波数ベースのダミー変数を導入することで、VAEが構造的パターンを保持する表現を学習可能にする。
• 潜在空間にスコアベースの拡散モデルを適用し、特徴の同時分布を反映する新たな多様な潜在表現を生成する。
• 事前学習済みのデコーダーを用いて、生成された潜在ベクトルを元の表形式に再構成し、混合型特徴とその対応するダミー符号化を含める。
• 再構成された混合型特徴とダミー変数を統合し、実データの構造的・統計的性質を保持した最終的な合成サンプルを生成する。
• 特に分類タスクにおける性能向上を図るため、TabDDPMのガウス分位数変換およびスコアネットワークアーキテクチャを活用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースや拡散モデルベースの単独手法よりも、ハイブリッドなオートエンコーダー・拡散フレームワークが、混合型変数を含む異種表形式特徴を効果的にモデル化できるか？
• RQ2 AutoDiffは、最先端の合成モデルと比較して、表形式データにおける複雑な特徴相関をどの程度正確に保持できるか？
• RQ3 AutoDiffは、ベースラインモデルと比較して、分類および回帰タスクにおける下流の機械学習用途の有用性をどの程度向上できるか？
• RQ4 他のモデルと比較して、AutoDiffの記憶リスク（平均最近接レコード距離：MDCR）という観点からプライバシーのトレードオフはいかなるものか？
• RQ5 オートエンコーダーに基づく符号化の統合が、拡散ベースの表形式データ合成における統計的整合性と有用性を向上させるか？

主な発見

• AutoDiffは全モデルの中で最高の平均MDCR順位（6.33）を達成しており、プライバシー性能が優れているが、最良ではないため、整合性と記憶リスクのバランスが取れていると示唆される。
• 分類タスクでは、AutoDiff（Tab-AutoDiff）が83.6％の正答率と0.659のF1スコアを達成し、Stasy（82.0％正答率、0.665 F1）およびCTGAN（69.9％正答率、0.465 F1）を上回り、最高のAUROC（0.852）を記録した。
• 回帰タスクでは、AutoDiffがR² = 0.172、RMSE = 4679.11を達成し、Stasy（R² ≈ 0、RMSE = 1.06×10⁸）およびCTABGAN+（R² = 0.061、RMSE = 5518.107）を著しく上回った。
• AutoDiffは、CTGAN、TVAE、CTABGAN+、AutoGANを含むすべてのGANベースのモデルを分類および回帰の両用途で上回り、下流性能が優れていることを示した。
• 可視化による比較により、合成データが実データの分布と非常に近いことが確認され、特に混合型特徴において特徴相関の捉え込みが的確であることが裏付けられた。
• Tab-AutoDiffは回帰タスクで最良の性能を示し、R² = 0.172、RMSE = 4679.11を達成し、TabDDPM（R² = -9.39、RMSE = 17,322.613）を著しく上回った。これは、AutoDiffが同時分布を優れた方法でモデル化できていることを示している。