[論文レビュー] CoDi: Co-evolving Contrastive Diffusion Models for Mixed-type Tabular Synthesis

Chaejeong Lee, Jayoung Kim+1 more|arXiv (Cornell University)|Apr 25, 2023

Topic Modeling被引用数 4

ひとこと要約

CoDiは、連続変数と離散変数の両方を別々に扱う2つの共進化する拡散モデルを用いた、混合型テーブルデータ合成のための新規フレームワークを提案する。両モデルは互いに条件付けられ、負例サンプリングを伴う対照的学習によって共同最適化される。この手法は11の実世界データセットにおいて、生成品質と多様性の両面で最先端の性能を達成し、従来の手法（STaSyを含む）を上回る。また、トレーニングの難易度を軽減し、サンプリング速度を約90%向上する。

ABSTRACT

With growing attention to tabular data these days, the attempt to apply a synthetic table to various tasks has been expanded toward various scenarios. Owing to the recent advances in generative modeling, fake data generated by tabular data synthesis models become sophisticated and realistic. However, there still exists a difficulty in modeling discrete variables (columns) of tabular data. In this work, we propose to process continuous and discrete variables separately (but being conditioned on each other) by two diffusion models. The two diffusion models are co-evolved during training by reading conditions from each other. In order to further bind the diffusion models, moreover, we introduce a contrastive learning method with a negative sampling method. In our experiments with 11 real-world tabular datasets and 8 baseline methods, we prove the efficacy of the proposed method, called CoDi.

研究の動機と目的

• 生成モデルにおける混合型テーブルデータ（連続および離散変数）のモデリングに課題を提起する。現在の手法では、変数間相関が損なわれることが多い。
• 連続および離散変数をそれぞれの物理的空間で処理することで、合成テーブルデータの忠実性と多様性を向上させる。共有の連続空間にマッピングするのではなく、各タイプに特化した処理を実現する。
• 共進化的条件付き学習と構造化された負例サンプリングを伴う対照的学習により、連続および離散拡散モデル間の整合性を高める。
• 単一の拡散プロセスで混合型を統合的にモデリングする従来のアプローチと比較して、トレーニングの不安定性を軽減し、収束速度を向上させる。
• テーブルデータ合成における生成学習の三難（品質、多様性、一般化性能）をバランスの取れた解決策で達成する。

提案手法

• 連続変数用と離散変数用の2つの別々の拡散モデルを訓練する。連続空間で連続変数を、離散空間で離散変数を処理することで、各タイプの分布学習をより正確に実現する。
• 両モデルは、各タイムステップで相互に前向きおよび逆方向プロセスを条件付けすることで共進化する。これにより、変数間依存関係が保持されたまま、両方のモデルが更新される。
• 対照的学習の目的関数を各モデルに別々に適用する。アーキテクチャ（元のサンプル）、ポジティブサンプル（正しい条件で生成されたもの）、およびネガティブサンプル（入れ替えられた条件で生成されたもの）を用いて表現を整列させる。
• 負例サンプリングは、ネガティブな連続サンプルを生成する際、離散条件をランダムに並び替えることで実装される。これにより、モデルは誤った相関関係を学習して排除する能力を獲得する。
• 対照的損失はトレーニング中に共同で最適化され、両モデル間の整合性を強化し、一般化性能を向上させる。
• 離散変数の前処理・後処理はワンホットエンコーディングを除き、エンドツーエンドで訓練される。これにより、連続空間での不適切なサンプリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 連続および離散テーブル変数のための別々の拡散モデルは、単一空間での統合モデリングと比較して、生成品質を向上させることができるか？
• RQ2 連続および離散拡散モデル間の共進化的条件付き学習は、特に混合型カラム間の変数間相関を保持できるか？
• RQ3 構造化された負例サンプリングを伴う対照的学習は、離散および連続拡散モデル間の整合性を向上させ、サンプルの多様性を向上させることができるか？
• RQ4 本手法は、既存の最先端のテーブル合成モデルと比較して、トレーニングの安定性および収束速度に優れているか？
• RQ5 本手法は、従来の手法と比較して、生成学習の三難（品質、多様性、一般化性能）のバランスをより良く達成できるか？

主な発見

• CoDiは11の実世界テーブルデータセットにおいて、8つのベースライン手法と比較して、両方のサンプリング品質と多様性で優れている。分類および回帰タスクにおけるF1スコアとR²の両面で顕著な向上を示した。
• Bankデータセットでは、F1スコアが0.566 ± 0.014を達成し、対照的学習を用いないベースライン（0.527 ± 0.032）と比較して7.4%の向上を示した。
• Heartデータセットでは、ベースラインと比較して7.8%の多様性向上を達成し、カバレッジスコアは0.949 ± 0.012を記録した。
• 対照的学習部はトレーニングの安定性を顕著に向上させた。Faultsデータセットでは滑らかな損失曲線が観察されたが、他の負例サンプリング手法では揺らぎのある曲線が見られた。
• CoDiは、前回のSOTAであるSTaSyと比較して、約90%のサンプリング時間を短縮した。これは、より良いモデル整合性に起因するトレーニング難易度の低下によるものである。
• アブレーションスタディでは、対照的学習を削除すると11のデータセットのうち7つで性能が低下し、これが品質および多様性向上に不可欠であることを確認した。