[論文レビュー] TabDDPM: Modelling Tabular Data with Diffusion Models

Akim Kotelnikov, Dmitry Baranchuk+2 more|arXiv (Cornell University)|Sep 30, 2022

Topic Modeling被引用数 63

ひとこと要約

TabDDPMは、混合の数値特徴とカテゴリ特徴を扱う拡散型生成モデルを表形式データに導入し、複数のベンチマークで最先端の性能を達成し、プライバシーに配慮した合成データを提供します。

ABSTRACT

Denoising diffusion probabilistic models are currently becoming the leading paradigm of generative modeling for many important data modalities. Being the most prevalent in the computer vision community, diffusion models have also recently gained some attention in other domains, including speech, NLP, and graph-like data. In this work, we investigate if the framework of diffusion models can be advantageous for general tabular problems, where datapoints are typically represented by vectors of heterogeneous features. The inherent heterogeneity of tabular data makes it quite challenging for accurate modeling, since the individual features can be of completely different nature, i.e., some of them can be continuous and some of them can be discrete. To address such data types, we introduce TabDDPM -- a diffusion model that can be universally applied to any tabular dataset and handles any type of feature. We extensively evaluate TabDDPM on a wide set of benchmarks and demonstrate its superiority over existing GAN/VAE alternatives, which is consistent with the advantage of diffusion models in other fields. Additionally, we show that TabDDPM is eligible for privacy-oriented setups, where the original datapoints cannot be publicly shared.

研究の動機と目的

• 拡散モデルを用いて一般的な表形式データを動機づけ、数値・カテゴリ・二値などの異種特徴タイプに対処する。
• TabDDPMを提案する、表形式タスクに適用可能で混合データ型を扱えるシンプルな拡散ベースのフレームワーク。
• 多様なベンチマークで先端的な表データ生成モデル（GANs/VAEs）と比較してTabDDPMを評価する。
• プライバシー保護を前提とした合成データ生成におけるTabDDPMの適性を示す。

提案手法

• カテゴリ特徴には多項拡散を、数値特徴にはガウス拡散を用いる。
• 入力はワンホットエンコードされたカテゴリと正規化された数値であり、前向き拡散は特徴ごとに独立している。
• ガウス部にはノイズを予測するMLPと、多項分類部にはカテゴリロジットを予測するモデルを用いて逆過程を構築する。
• ガウス拡散の平均二乗誤差の和と各多項拡散のKL項を最小化して訓練する。
• 分類ではクラス条件付きモデルを使用し、回帰では目標を追加の数値特徴として組み込む。
• ハイパーパラメータは、検証用ホールドアウトセット上でCatBoostのML効率性に導かれてOptunaで調整する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは異種特徴タイプを持つ表形式データに効果的に拡張できるか？
• RQ2 多様なベンチマークにおいてTabDDPMはGANベースおよびVAEベースの表データ生成器と比較してどのように性能を示すか？
• RQ3 データ品質とプライバシーの観点から、TabDDPMはSMOTEのような単純なベースラインと競合できるか？
• RQ4 表形式タスクにおけるTabDDPMの性能に対するハイパーパラメータ調整の影響は何か？

主な発見

• TabDDPMは複数のデータセットにおいてML効率の点で先行する表データGAN/ VAEのベースラインをしばしば上回る。
• TabDDPMは定性的評価でTVAEおよびCTABGAN+よりも現実的な特徴分布と相関を生成する。
• SMOTEと比較して、TabDDPMは複数のデータセットで競争力のあるまたは優れたML効率を達成し、より良いプライバシー特性を示す。
• TabDDPMのハイパーパラメータ調整は効果に強い影響を与え、CatBoostガイドの調整はCatBoostだけの評価を超えて一般化する。
• プライバシー感度の高い設定ではTabDDPMは実データとの距離（DCR）がSMOTEより大きく、原本レコードの再現リスクが小さいことを示している。