[논문 리뷰] XTab: Cross-table Pretraining for Tabular Transformers

Bingzhao Zhu, Xingjian Shi외 4명|arXiv (Cornell University)|2023. 05. 10.

Data-Driven Disease Surveillance인용 수 6

한 줄 요약

XTab는 다양한 컬럼 유형과 수를 가진 데이터셋 간 지식 전이를 가능하게 하는 표본형 트랜스포머를 위한 교차표 전학습 프레임워크를 도입한다. 데이터별 특성 추출기와 공통 트랜스포머 블록을 함께 전학습시키기 위해 연합 학습을 사용함으로써 XTab은 일반화 능력, 학습 속도, 성능 향상에 크게 기여하며, OpenML-AutoML 벤치마크의 84개 표본형 작업에서 최신 기술 모델을 능가한다.

ABSTRACT

The success of self-supervised learning in computer vision and natural language processing has motivated pretraining methods on tabular data. However, most existing tabular self-supervised learning models fail to leverage information across multiple data tables and cannot generalize to new tables. In this work, we introduce XTab, a framework for cross-table pretraining of tabular transformers on datasets from various domains. We address the challenge of inconsistent column types and quantities among tables by utilizing independent featurizers and using federated learning to pretrain the shared component. Tested on 84 tabular prediction tasks from the OpenML-AutoML Benchmark (AMLB), we show that (1) XTab consistently boosts the generalizability, learning speed, and performance of multiple tabular transformers, (2) by pretraining FT-Transformer via XTab, we achieve superior performance than other state-of-the-art tabular deep learning models on various tasks such as regression, binary, and multiclass classification.

연구 동기 및 목표

• 다양한 컬럼 유형과 수를 가진 새로운 표본에서 표본형 딥 러닝 모델의 낮은 일반화 능력 문제를 해결하기 위해.
• 다양한 도메인의 여러 표본 간 지식 전이를 가능하게 하여 도메인 특화 전학습의 한계를 극복하기 위해.
• 표본형 트랜스포머를 위한 전이 학습을 지원하는 확장성 있고 분산형 전학습 프레임워크를 개발하기 위해.
• 교차표 전학습이 새로운 표본에서 학습 속도, 모델 성능, 일반화 능력을 향상시킨다는 것을 입증하기 위해.
• 단일 도메인 또는 단일 표본 미세조정을 초월하는 새로운 표본형 모델 전학습 벤치마크를 설정하기 위해.

제안 방법

• 변동하는 컬럼 유형과 수를 처리하기 위해 표본형 트랜스포머를 데이터별 특성 추출기와 공통 교차표 컴포넌트로 분해하기.
• 다양한 도메인의 대규모 표본 컬렉션에서 공통 컴포넌트를 연합 학습을 통해 공동 전학습시키기.
• 일반적인 표본 표현을 학습하기 위해 전학습 중 자기지도 사전 과제(예: 마스킹된 컬럼 예측, 대비 학습)를 적용하기.
• 새로운 모델을 전학습된 공통 가중치로 초기화하여 새로운 표본에서의 학습을 가속화하기.
• 각 표본 컬럼을 토큰으로 간주하는 통합 아키텍처를 활용하여 길이가 다른 표본 간에 어텐션 기반 모델링을 가능하게 하기.
• OpenML-AutoML 벤치마크의 84개 데이터셋에서 전학습하여 광범위한 도메인 커버리지와 일반화 능력을 확보하기.

실험 결과

연구 질문

• RQ1 교차표 전학습이 다양한 컬럼 유형과 구조를 가진 데이터셋 간 표본형 트랜스포머의 일반화 능력을 향상시킬 수 있는가?
• RQ2 다양하고 이질적인 대규모 표본 컬렉션에서 전학습을 수행하면 후행 작업에서 수렴 속도와 성능 향상에 기여하는가?
• RQ3 연합 학습이 여러 표본에 걸쳐 전학습을 효과적으로 확장하면서도 모델의 일반화 능력을 유지할 수 있는가?
• RQ4 XTab은 무작위 초기화 및 도메인 특화 전학습 대비 성능과 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ5 XTab은 최신 표본형 모델인 FT-Transformer의 성능을 어느 정도 향상시키는가?

주요 결과

• XTab은 OpenML-AutoML 벤치마크의 84개 작업 전반에서 여러 표본형 트랜스포머의 성능, 학습 속도, 일반화 능력을 일관되게 향상시켰다.
• XTab 전학습 가중치로 미세조정한 FT-Transformer는 회귀, 이진 분류, 다중 클래스 분류 작업 전반에서 다른 모든 최신 표본형 딥 러닝 모델을 능가했다.
• mfeat-factors 데이터셋에서 XTab은 로그 손실을 무작위 초기화 시 0.1636에서 0.1089로 감소시켜 상대적 개선률 33.3%를 기록했다.
• boston 회귀 작업에서 XTab은 RMSE를 3.3039에서 2.8631로 감소시켜 상대적 개선률 13.3%를 기록했다.
• wine-quality-white 다중 클래스 작업에서 XTab은 로그 손실을 0.803에서 0.7847로 감소시켜 상대적 개선률 2.3%를 기록했다.
• XTab은 84개 작업 중 18개에서 최고의 베이스라인보다 뛰어난 성능을 기록했으며, 모든 작업 유형에서 일관된 성능 향상을 보였다.