[논문 리뷰] REaLTabFormer: Generating Realistic Relational and Tabular Data using Transformers

Aivin V. Solatorio, Olivier Dupriez|arXiv (Cornell University)|2023. 02. 04.

Time Series Analysis and Forecasting인용 수 25

한 줄 요약

REaLTabFormer은 Relational 비-relational 테이블의 부모(비관계형) 테이블에 대해 GPT-2 기반의 autoregressive 모델링과 자식(관계형) 테이블에 대해 Seq2Seq 변환기를 결합하여, 개인정보 보호 장치와 과적합 탐지를 포함해 현실적인 관계형 표 데이터를 합성하는 방법이다.

ABSTRACT

Tabular data is a common form of organizing data. Multiple models are available to generate synthetic tabular datasets where observations are independent, but few have the ability to produce relational datasets. Modeling relational data is challenging as it requires modeling both a "parent" table and its relationships across tables. We introduce REaLTabFormer (Realistic Relational and Tabular Transformer), a tabular and relational synthetic data generation model. It first creates a parent table using an autoregressive GPT-2 model, then generates the relational dataset conditioned on the parent table using a sequence-to-sequence (Seq2Seq) model. We implement target masking to prevent data copying and propose the $Q_δ$ statistic and statistical bootstrapping to detect overfitting. Experiments using real-world datasets show that REaLTabFormer captures the relational structure better than a baseline model. REaLTabFormer also achieves state-of-the-art results on prediction tasks, "out-of-the-box", for large non-relational datasets without needing fine-tuning.

연구 동기 및 목표

• 합성 관계형 표 데이터의 필요성과 개인정보 보호를 데이터 유용성을 유지하면서 확보할 필요를 제시한다.
• 비관계형과 관계형 표 데이터를 생성하기 위한 단일 트랜스포머 기반 프레임워크(REaLTabFormer)를 제안한다.
• 데이터 복사 및 과적합을 방지하기 위한 프라이버시 보존 및 과적합 탐지 메커니즘을 도입한다.
• REaLTabFormer가 실제 데이터셋에서 베이스라인보다 우수한 성능을 보이고 큰 비관계형 데이터셋에서도 강력한 기본 성능을 제공함을 보여준다.

제안 방법

• 비관계형(부모) 테이블을 autoregressive GPT-2로 모델링해 P(X|이전 열)을 학습한다.
• 관계형(자식) 테이블을 Seq2Seq 인코더–디코더로 모델링하되, 고정된 GPT-2 부모 모델을 인코더로 사용하여 자식 생성이 부모 관측값을 조건으로 하도록 한다.
• 열별로 고정된 어휘를 사용해 표 데이터를 인코딩하여 효율성을 높이고 열 데이터 유형을 최소한의 변환으로 처리한다.
• 훈련 중 타깃을 무작위로 마스킹하는 타깃 마스킹과 샘플링 시점의 제약된 생성 전략으로 데이터 복사를 완화한다.
• bootstrapped 임계값을 갖는 Q_delta 통계량으로 과적합 및 데이터 복사를 탐지하고, 홀드아웃 세트 없이도 조기 중단이 가능하도록 한다.
• 연구자들이 결과를 재현할 수 있도록 오픈 소스 구현(pip install realtabformer)을 제공한다.

실험 결과

연구 질문

• RQ1 REaLTabFormer가 부모-자식 테이블 간의 관계 구조를 베이스라인 관계형 모델보다 더 정확하게 포착할 수 있는가?
• RQ2 모델이 대규모 비관계형 데이터에서 파인 튜닝 없이도 최첨단 예측 유용성을 제공하는가?
• RQ3 생성 중 데이터 복사를 방지하기 위한 프라이버시 보존 기술(target masking, overfitting 탐지)의 효과는 어떠한가?
• RQ4 REaLTabFormer가 실제 데이터셋에서 비관계형 및 관계형 데이터 생성을 위해 오픈 소스 베이스라인과 비교했을 때 어떤 성능 차이가 나는가?

주요 결과

• REaLTabFormer는 관계형 데이터셋(Rossmann, Airbnb)에서 SDV-HMA 베이스라인보다 더 정확하게 관계 구조를 포착한다.
• 비관계형 데이터의 경우 대규모 데이터셋에서 작업 특화 튜닝 없이도 경쟁력 있거나 최첨단 ML 효능을 달성한다.
• 모델의 판별자 기반 리얼리즘은 확산 기반 베이스라인과 비교 가능해 합성 데이터의 높은 리얼리즘을 시사한다.
• 타깃 마스킹과 Q_delta 기반 과적합 탐지는 데이터 복사를 효과적으로 완화하고 합리적인 조기 중단을 가능하게 한다.
• 고정 열 어휘를 통한 제약된 샘플링은 생성 중 무효 샘플을 거의 0에 가까운 수준으로 만들어낸다.