[論文レビュー] REaLTabFormer: Generating Realistic Relational and Tabular Data using Transformers

Aivin V. Solatorio, Olivier Dupriez|arXiv (Cornell University)|Feb 4, 2023

Time Series Analysis and Forecasting被引用数 25

ひとこと要約

REaLTabFormer は、親テーブル（非リレーショナル）の自回帰モデリングをGPT-2ベースで、子テーブル（リレーショナル）のSeq2Seqトランスフォーマを組み合わせ、プライバシー保護と過適合検出を含め、現実的なリレーショナルタブデータを合成します。

ABSTRACT

Tabular data is a common form of organizing data. Multiple models are available to generate synthetic tabular datasets where observations are independent, but few have the ability to produce relational datasets. Modeling relational data is challenging as it requires modeling both a "parent" table and its relationships across tables. We introduce REaLTabFormer (Realistic Relational and Tabular Transformer), a tabular and relational synthetic data generation model. It first creates a parent table using an autoregressive GPT-2 model, then generates the relational dataset conditioned on the parent table using a sequence-to-sequence (Seq2Seq) model. We implement target masking to prevent data copying and propose the $Q_δ$ statistic and statistical bootstrapping to detect overfitting. Experiments using real-world datasets show that REaLTabFormer captures the relational structure better than a baseline model. REaLTabFormer also achieves state-of-the-art results on prediction tasks, "out-of-the-box", for large non-relational datasets without needing fine-tuning.

研究の動機と目的

• 合成リレーショナルタブデータの必要性を動機付け、データの有用性を維持しつつプライバシーを保つ。
• 非リレーショナルおよびリレーショナルタブデータを生成するための統一されたトランスフォーマーベースのフレームワーク（REaLTabFormer）を提案する。
• データコピーと過適合を防ぐためのプライバシー保護機構と過適合検出機構を導入する。
• 現実世界のデータセットでベースラインを上回ることを示し、大規模な非リレーショナルデータセットで強力な初期性能を提供する。

提案手法

• 非リレーショナル（親）テーブルを自己回帰型の GPT-2 でモデル化し、P(X|前の列) を学習する。
• リレーショナル（子）テーブルを Seq2Seq のエンコーダ-デコーダでモデル化し、凍結済みの GPT-2 親モデルをエンコーダとして使用して子生成を親観測で条件付けする。
• 列ごとに固定語彙を用いて表データをエンコードし、効率を改善し列データ型を最小限の変換で扱う。
• ターゲットマスキング（訓練時にターゲットをランダムにマスキング）とサンプリング時の制約生成戦略によってデータコピーを低減する。
• ブートストラップ閾値を用いた Q_delta 指標を使用して過適合とデータコピーを検出し、ホールドアウトセットなしで早期停止を可能にする。
• 研究者が結果を再現できるよう、オープンソース実装（pip install realtabformer）を提供する。

実験結果

リサーチクエスチョン

• RQ1 REaLTabFormer はベースラインのリレーショナルモデルを超えて、親テーブルと子テーブル間のリレーショナル構造を正確に捉えることができるか？
• RQ2 ファインチューニングなしで、大規模な非リレーショナルデータセットに対して最先端の予測有用性を提供するか？
• RQ3 生成時のデータコピーを防ぐ上で、プライバシー保護技術（ターゲットマスキング、過適合検出）はどれだけ効果的か？
• RQ4 現実世界のデータセットにおける非リレーショナルおよびリレーショナルデータ生成の開源ベースラインに対して、REaLTabFormer はどの程度の性能を示すか？

主な発見

• REaLTabFormer は、リレーショナルデータセット（Rossmann、Airbnb）で SDV-HMA ベースラインよりリレーショナル構造をより正確に捉える。
• 非リレーショナルデータでは、タスク特化の調整なしで大規模データセット上で競争力のあるまたは最先端の ML有効性を達成する。
• モデルの識別子ベースのリアリズムは拡散ベースのベースラインと同等であり、合成データの高いリアリズムを示している。
• ターゲットマスキングと Q_delta ベースの過適合検出はデータコピーを効果的に抑制し、原理的な早期停止を可能にする。
• 固定列語彙による制約付きサンプリングは、生成時に無効なサンプルがほぼゼロとなる。