[論文レビュー] MissDiff: Training Diffusion Models on Tabular Data with Missing Values

Yidong Ouyang, Liyan Xie+2 more|arXiv (Cornell University)|Jul 2, 2023

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

MissDiffは、欠損値を事前補完せずに、欠損値を含むテーブルデータに直接学習する画期的な拡散ベースの生成フレームワークを提案する。Denoising Score Matchingにおけるマスクされた回帰損失を用いることで、一貫性のあるスコア関数の学習を保証する。複数の現実世界のデータセットにおいて、さまざまな欠損メカニズムのもとで、最先端の手法（「補完してから生成する」パイプラインを含む）を大きく上回る忠実度と有用性を示した。

ABSTRACT

The diffusion model has shown remarkable performance in modeling data distributions and synthesizing data. However, the vanilla diffusion model requires complete or fully observed data for training. Incomplete data is a common issue in various real-world applications, including healthcare and finance, particularly when dealing with tabular datasets. This work presents a unified and principled diffusion-based framework for learning from data with missing values under various missing mechanisms. We first observe that the widely adopted "impute-then-generate" pipeline may lead to a biased learning objective. Then we propose to mask the regression loss of Denoising Score Matching in the training phase. We prove the proposed method is consistent in learning the score of data distributions, and the proposed training objective serves as an upper bound for the negative likelihood in certain cases. The proposed framework is evaluated on multiple tabular datasets using realistic and efficacious metrics and is demonstrated to outperform state-of-the-art diffusion model on tabular data with "impute-then-generate" pipeline by a large margin.

研究の動機と目的

• 医療、金融、社会的システムで一般的に見られる不完全なテーブルデータに対する生成モデルの学習という課題に対処すること。
• 補完後に生成するというパイプラインの限界を克服すること。このアプローチはバイアスを導入し、データの多様性を低下させる可能性がある。
• 削除や補完を経ずに欠損データから学習する、原理的かつ統一的なフレームワークの構築。
• やや厳しい欠損メカニズムのもとで、スコア関数の回復と負の対数尤度の上界に関する理論的根拠の提供。
• 複数のテーブルデータセットにおいて、データ忠実度と下流の有用性の両面で、MissDiffの優位性を実験的に検証すること。

提案手法

• 訓練中に欠損値を扱うために、Denoising Score Matching (DSM) におけるマスクされた回帰損失を提案し、補完を回避する。
• 欠損データのパターンをスコアマッチングプロセスに直接組み込む、修正された訓練目的を導入する。
• 理論的に根拠を持つフレームワークであり、真のスコア関数の学習の一貫性を証明し、やや厳しい欠損仮定のもとで負の対数尤度の上界を提供する。
• 連続的およびカテゴリカルな特徴を併せ持つ混合タイプのテーブルデータに適用し、両方の変数タイプにおける欠損値を処理する。
• 欠損エントリの上にマスクを適用するデノイジングスコアマッチング目的を用い、モデルがバイアスなく観測済みデータから学習することを保証する。
• 生成と補完の両方を可能にする統一アーキテクチャを採用し、二重目的の有用性を実現する。

実験結果

リサーチクエスチョン

• RQ1 欠損値を含むテーブルデータに対して、事前補完なしに拡散モデルを効果的に学習できるか？
• RQ2 スコアマッチングにおける提案されたマスク損失が、真のデータスコア関数の一貫性のある推定をもたらすか？
• RQ3 データ忠実度と下流の有用性の観点から、MissDiffは「補完してから生成する」ベースラインと比べてどのように差をつけるか？
• RQ4 MARやNMARのような非MCAR欠損メカニズムにおいて、MissDiffはどの程度一般化性能を示すか？
• RQ5 生成を目的として設計されたMissDiffは、補完用としても効果的であるか？

主な発見

• MCAR条件下のCensusデータセットにおいて、独立欠損の下で83.16%の忠実度を達成し、次に優れた手法（STaSy-mean）の26.1%上回った。
• 行単位の欠損の下で、80.59%の分類精度を達成し、Diff-mean（76.92%）とSTaSy-mean（56.75%）を大きく上回った。
• 大規模なMIMIC-4EDデータセットにおいて、行単位の欠損の下で84.45%の忠実度を達成し、Diff-delete（性能報告なし）とDiff-mean（75.22%）を上回った。
• MIMIC-4EDにおけるRMSEベースの有用性評価では、行単位の欠損の下で1.826を達成し、Diff-mean（2.166）とSTaSy-mean（1.894）を上回った。
• CensusデータセットにおけるMARおよびNMARメカニズムの下で、それぞれ77.45%および77.88%の忠実度を達成し、すべての設定でDiff-deleteとDiff-meanを上回った。
• 補完の観点から、CensusデータセットにおいてRMSEが0.087を達成し、CSDI-T（0.099）とGAIN（0.123）を上回り、優れた補完能力を示した。