[論文レビュー] TabMT: Generating tabular data with masked transformers

Manbir Gulati, Paul F. Roysdon|arXiv (Cornell University)|Dec 11, 2023

Digital and Cyber Forensics被引用数 6

ひとこと要約

TabMTは、異種のデータ型、欠損値、プライバシーのトレードオフを適切に扱うために、改善されたマスキング技術を活用した新しいマスクドトランスフォーマー・アーキテクチャを提案する。このモデルは、多様なデータセットにおいて最先端の性能を達成し、GAN、VAE、自己回帰的モデルよりも品質、多様性、耐性において優れている。特に、温度制御によるプライバシー保護生成において顕著である。

ABSTRACT

Autoregressive and Masked Transformers are incredibly effective as generative models and classifiers. While these models are most prevalent in NLP, they also exhibit strong performance in other domains, such as vision. This work contributes to the exploration of transformer-based models in synthetic data generation for diverse application domains. In this paper, we present TabMT, a novel Masked Transformer design for generating synthetic tabular data. TabMT effectively addresses the unique challenges posed by heterogeneous data fields and is natively able to handle missing data. Our design leverages improved masking techniques to allow for generation and demonstrates state-of-the-art performance from extremely small to extremely large tabular datasets. We evaluate TabMT for privacy-focused applications and find that it is able to generate high quality data with superior privacy tradeoffs.

研究の動機と目的

• 既存の手法に見られる制限を克服し、堅牢でスケーラブルかつプライバシーに配慮した合成表形式データの生成モデルを開発すること。
• 小規模から大規模なデータセットまで、さまざまなサイズのデータセットにおいて高品質な表形式データを効果的に生成できること。
• 補完やデータ前処理を必要とせず、学習時および生成時においてネイティブに欠損データを処理できること。
• 温度スケーリングを用いた柔軟なプライバシーのトレードオフメカニズムを提供し、データの有用性とプライバシーを制御できること。
• GAN、VAE、自己回帰的トランスフォーマーを含む既存の生成モデルよりも、品質および構造的忠実度において優れた性能を示すこと。

提案手法

• TabMTは、表形式のフィールド全体にわたって双方向にマスクされたトークンを予測するマスクドトランスフォーマー・アーキテクチャを採用し、異種のデータ型を統合的にモデル化する。
• 各レコードに固有のマスキング確率を割り当てる学習可能なマスキング戦略を採用し、生成時の柔軟な条件付けを可能にする。
• マスクされたトークンの再構築を文脈から行うことで、表現学習を向上させるマスクドトークン予測目的でモデルを訓練する。
• サンプルごとにフィールドレベルの表現の平均値から埋め込みを生成し、Fréchet Inception Distance (FID) および Inception Score を用いた下流評価に使用する。
• 推論時に温度スケーリングを適用することで、データ品質とプライバシーのトレードオフを制御し、モード崩壊の低減と多様性の向上を実現する。
• 連続的フィールドに対して量子化を適用し、離散的トークン化を可能にすることで、データ構造を保持しつつ、学習と生成を促進する。

Figure 2 : A row of data being sampled from TabMT. Fields are sampled in a random order and field values are sampled according to the predicted distributed.

実験結果

リサーチクエスチョン

• RQ1 マスクドトランスフォーマー・アーキテクチャは、多様なデータセットにおいて合成表形式データ生成で最先端の性能を達成できるか？
• RQ2 TabMTは、学習時および生成時に欠損データをどのように処理しており、その影響がデータ品質およびプライバシーにどのように現れるか？
• RQ3 温度スケーリングを用いることで、TabMTはどの程度プライバシーとデータ品質のバランスを取れるか？他のプライバシー保護手法と比較してどうか？
• RQ4 NFGANのような特化型モデルと比較して、TabMTはネットフロー・データ生成のようなドメイン固有のベンチマークでどの程度の性能を示すか？
• RQ5 TabMTは、さまざまなサイズのデータセットに対してどの程度スケーラブルか？また、モデルサイズが生成品質および多様性に与える影響は？

主な発見

• Netflowデータセットにおいて、TabMTは88.10%の精度と91.12%の再現率を達成し、NFGANの77.64%（精度）および63.32%（再現率）を上回った。
• TabMT-LはNetflowデータセットで99.43%の多様性を達成したのに対し、NFGANは46.97%にとどまり、より優れたサンプルカバレッジとモード崩壊の低減が示された。
• TabMTはNetflowの不変性の中央値違反率をNFGANと比較して20倍低減し、TCPフラグで6.54e-06、プライベートIPで1.14e-05という最低の誤差率を記録した。
• モデルのスケーラビリティは強く、小形から大形モデルまで、すべてのモデルサイズで精度と再現率がバリデーションセット水準に近づいた。
• 最大モデル（TabMT-L）を用いた場合、Netflowデータセットで100%の多様性を達成し、データ分布のほぼ完全なカバレッジを示した。
• モデルのマスキング機構により、欠損データをネイティブに処理でき、実世界の不完全な記録を含むシナリオにおける耐性と適用可能性が向上した。