[論文レビュー] STaSy: Score-based Tabular data Synthesis

Jayoung Kim, Chaejeong Lee+1 more|arXiv (Cornell University)|Oct 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

STaSyは、自己学習とファインチューニングを活用したスコアベースの生成モデルを提案し、サンプリング品質と多様性を向上させる。15のベンチマークデータセットにおいて7つのベースラインを上回り、品質（F1 & R²: 0.733）と多様性（カバレッジ: 0.658）の両面で優れた性能を発揮するとともに、訓練時間のバランスも図っている。

ABSTRACT

Tabular data synthesis is a long-standing research topic in machine learning. Many different methods have been proposed over the past decades, ranging from statistical methods to deep generative methods. However, it has not always been successful due to the complicated nature of real-world tabular data. In this paper, we present a new model named Score-based Tabular data Synthesis (STaSy) and its training strategy based on the paradigm of score-based generative modeling. Despite the fact that score-based generative models have resolved many issues in generative models, there still exists room for improvement in tabular data synthesis. Our proposed training strategy includes a self-paced learning technique and a fine-tuning strategy, which further increases the sampling quality and diversity by stabilizing the denoising score matching training. Furthermore, we also conduct rigorous experimental studies in terms of the generative task trilemma: sampling quality, diversity, and time. In our experiments with 15 benchmark tabular datasets and 7 baselines, our method outperforms existing methods in terms of task-dependant evaluations and diversity. Code is available at https://github.com/JayoungKim408/STaSy.

研究の動機と目的

• 深く生成モデルを用いた高品質かつ多様な表形式データの生成に直面する課題に対処すること。これは、複雑で多次元のカラム分布のため、しばしば失敗する。
• スコアベースの生成モデル（SGM）を表形式データの合成に適応させること。これにより、ノイズ除去スコアマッチングを活用し、サンプルの忠実性を向上させる。
• 表形式データにおけるSGMの訓練を安定化させること。自己学習とファインチューニング戦略を導入し、損失の分散を低減し、モデルの収束を向上させる。
• 多様な実世界の表形式データセットを対象に、生成学習の三重奏（品質、多様性、訓練時間）を厳密に評価すること。
• 三重奏のすべての次元をバランスさせる新しい最先端の表形式データ合成を確立すること。

提案手法

• ノイズが加えられた分布からのサンプルをノイズ除去することで、逆SDEプロセスを用いたスコアベースの生成モデル（SGM）を採用し、表形式データを生成する。
• 時刻依存のスコアネットワーク $ S_{\bm{\theta}}(\mathbf{x},t) $ を用いて、スコア関数 $ \nabla_{\mathbf{x}} \log p_t(\mathbf{x}) $ を近似し、ノイズ除去スコアマッチングによりエンドツーエンドの訓練を可能にする。
• 損失の大きさが小さい順にデータレコードを並べた自己学習戦略を導入し、より簡単な（損失が小さい）サンプルから訓練を開始することで、訓練の安定性を向上させる。
• ファインチューニングフェーズを適用し、低学習率を用いてモデルパラメータをわずかに調整することで、さらにサンプリング品質と多様性を向上させる。
• SDEタイプ（VE, VP, sub-VP）とレイヤータイプ（concat, squash, concatsquash）を用い、学習率、$ \alpha_0 $、$ \beta_0 $ のハイパーパramーターサーチを実施する。
• 訓練および評価中に効率的な対数確率計算のために、ハッチンソン推定法をラデマッハまたはガウスノイズを用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 実世界のカラムに複雑で多次元の分布が存在するにもかかわらず、スコアベースの生成モデルは表形式データの合成に効果的に適応可能か？
• RQ2 自己学習は、表形式SGMにおけるノイズ除去スコアマッチングの訓練安定性と収束性を向上させるか？
• RQ3 ファインチューニングは、ベースのSGMアーキテクチャを上回るサンプリング品質と多様性をさらに向上させられるか？
• RQ4 STaSyは、生成学習の三重奏（品質、多様性、訓練時間）をバランスさせる点で、既存のベースラインと比較してどのように優れているか？
• RQ5 STaSyは、合成された表形式データにおけるモード崩壊と分布シフトをどの程度軽減できるか？

主な発見

• STaSyは、15のベンチマークデータセットにおいて、サンプリング品質スコア0.733（F1 & R²）と多様性0.658（カバレッジ）を達成し、7つのベースラインすべてを大きく上回った。
• Naïve-STaSy（強化なしのベースSGM）は、実行時間以外のすべてのベースラインを上回り、品質0.717、多様性0.637を達成した。
• 自己学習により訓練が安定化し、損失分散が低減された。STaSyでは損失分布がゼロ付近に集中しているのに対し、Naïve-STaSyでは長い尾を持つ分布を示した。
• ファインチューニングにより品質と多様性の両方がさらに向上し、初期訓練後のモデル性能の改善効果が明確に示された。
• t-SNE可視化図では、HTRU、Robot、Newsデータセットにおいて、CTGAN、TableGAN、RNODEと比較してSTaSyがより多様で現実的ないずれのサンプルも生成していることから、モード崩壊が効果的に抑制されていることが示された。
• 品質、多様性、時間のバランスを良好に維持しており、10.663秒の実行時間で、より遅いOCT-GAN（26.926s）を上回りながらも、優れた品質と多様性を達成した。