[論文レビュー] DATGAN: Integrating expert knowledge into deep learning for synthetic tabular data

Gael Lederrey, Tim Hillel+1 more|arXiv (Cornell University)|Mar 7, 2022

Generative Adversarial Networks and Image Synthesis被引用数 15

ひとこと要約

DATGANは、合成表形式データ生成を制御するための、専門家が定義した因果関係を有向非巡回グラフ（DAG）を介して統合する画期的なGANアーキテクチャを導入する。DAGに変換されたLSTMセルを用いたジェネレータの構造化と、統計的および機械学習ベースの評価による検証を通じて、代表性と相関の正確性において、最先端のモデルを上回る性能を発揮する。特に、最適な損失関数（カテゴリカル優勢データにはWGAN、連続的優勢データにはWGGP）とラベルスムージングを用いることで顕著な向上が得られる。

ABSTRACT

Synthetic data can be used in various applications, such as correcting bias datasets or replacing scarce original data for simulation purposes. Generative Adversarial Networks (GANs) are considered state-of-the-art for developing generative models. However, these deep learning models are data-driven, and it is, thus, difficult to control the generation process. It can, therefore, lead to the following issues: lack of representativity in the generated data, the introduction of bias, and the possibility of overfitting the sample's noise. This article presents the Directed Acyclic Tabular GAN (DATGAN) to address these limitations by integrating expert knowledge in deep learning models for synthetic tabular data generation. This approach allows the interactions between variables to be specified explicitly using a Directed Acyclic Graph (DAG). The DAG is then converted to a network of modified Long Short-Term Memory (LSTM) cells to accept multiple inputs. Multiple DATGAN versions are systematically tested on multiple assessment metrics. We show that the best versions of the DATGAN outperform state-of-the-art generative models on multiple case studies. Finally, we show how the DAG can create hypothetical synthetic datasets.

研究の動機と目的

• 合成表形式データを生成する際のデータ駆動型GANにおける制御の欠如に対処すること。
• モデルアーキテクチャに専門家知識を埋め込むことで、代表性の向上とバイアス伝搬の低減を図ること。
• 統計的および機械学習ベースの指標を組み合わせた包括的な評価フレームワークを構築すること。
• 制御可能な因果構造を用いて仮想の合成データセットを生成すること。
• 複数の事例において、既存の最先端生成モデルを上回る性能を発揮すること。

提案手法

• ジェネレータは、変数間の専門家が定義した因果関係を符号化する有向非巡回グラフ（DAG）に基づいて構造化される。
• DAGは、DAG内の親変数に基づいて1つの変数を生成する責任を負う、変更された長短期記憶（LSTM）セルのネットワークに変換される。
• カテゴリカル変数と連続変数は、分布的および構造的性質を保持するハイブリッド手法を用いて符号化される。
• 複数の損失関数（WGAN、WGGP）とトレーニング戦略（例：両側ラベルスムージング、シミュレーションベースのサンプリング）が体系的に評価される。
• 二重評価フレームワークが用いられる：統計的検定（例：コルモゴロフ・スミルノフ検定、カイ二乗検定）と、下流の機械学習モデルを用いた教師あり学習ベースの検証。
• ジェネレータの出力に基づいて判別器が本物のデータと合成データを区別するように、敵対的トレーニングによりエンドツーエンドでモデルが訓練される。

実験結果

リサーチクエスチョン

• RQ1 専門家が定義した因果関係をDAGを介して統合することで、合成表形式データの代表性と相関の正確性が向上するか？
• RQ2 異なる損失関数（WGAN 対 WGGP）とトレーニング技術（ラベルスムージング、サンプリング手法）は、DATGANモデルのパフォーマンスにどのように影響するか？
• RQ3 DAGの構造（完全なDAG 対 削除済みDAG）が、生成された合成データセットの品質にどの程度影響を及えるか？
• RQ4 統計的および機械学習ベースの評価指標を用いて、複数の事例においてDATGANが最先端の生成モデルを上回ることができるか？
• RQ5 DAG構造を変更することで、DATGANはどのように仮想の合成データセットを生成できるか？

主な発見

• 最良の性能を示したDATGANのバリエーションは、統計的および機械学習ベースの評価指標において、すべての事例ですべての最先端モデルを上回る。
• 最終的な合成変数のシミュレーションベースのサンプリングと両側ラベルスムージングが、すべてのデータセットで最高のパフォーマンスをもたらす。
• カテゴリカル変数が多数を占めるデータセットでは、WGAN損失関数が優れた結果をもたらす。一方、連続的変数が優勢なデータセットでは、WGGP損失関数が最適である。
• 完全なDAG構造は、簡略化されたバージョンよりも顕著に優れた相関の保持を実現する。
• DAG構造を変更することで、代替の因果仮定を反映させることで、DATGANは仮想の合成データセットを成功裏に生成でき、シナリオ分析を可能にする。
• 生成器が元のトレーニングデータに直接アクセスしないため、モデルは内在的な微分プライバシーを備えている。