[논문 리뷰] Revisiting Pretraining Objectives for Tabular Deep Learning

Ivan Rubachev, Artem Alekberov외 2명|arXiv (Cornell University)|2022. 07. 07.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 표본 기반 딥러닝 모델을 위한 사전 훈련 목표를 조사하며, 특히 사전 훈련 중에 대상 레이블을 사용하는 타겟 인식 사전 훈련이 다운스트림 성능을 크게 향상시킨다는 것을 입증한다. 자기 예측과 대조 학습 목표가 경쟁 가능하다는 것을 보여주며, 사전 훈련은 단순한 MLP조차도 완전히 레이블링된 데이터셋에서 최신의 GBDT 모델을 따라하거나 능가하도록 향상시킨다.

ABSTRACT

Recent deep learning models for tabular data currently compete with the traditional ML models based on decision trees (GBDT). Unlike GBDT, deep models can additionally benefit from pretraining, which is a workhorse of DL for vision and NLP. For tabular problems, several pretraining methods were proposed, but it is not entirely clear if pretraining provides consistent noticeable improvements and what method should be used, since the methods are often not compared to each other or comparison is limited to the simplest MLP architectures. In this work, we aim to identify the best practices to pretrain tabular DL models that can be universally applied to different datasets and architectures. Among our findings, we show that using the object target labels during the pretraining stage is beneficial for the downstream performance and advocate several target-aware pretraining objectives. Overall, our experiments demonstrate that properly performed pretraining significantly increases the performance of tabular DL models, which often leads to their superiority over GBDTs.

연구 동기 및 목표

• 다양한 데이터셋과 아키텍처에서 일관되게 성능을 향상시키는 표본 기반 딥러닝을 위한 효과적인 사전 훈련 목표를 규명하는 것.
• 레이블이 풍부한 환경에서 사전 훈련이 완전히 지도 학습 설정에서 측정 가능한 성능 향상을 제공하는지 평가하는 것.
• 자기 예측, 대조 학습, 오토에인코딩, 타겟 인식 변형 등 다양한 사전 훈련 목표를 단순 및 고급 아키텍처에서 비교하는 것.
• 아키텍처 선택 및 훈련 절차를 포함한 표본 기반 모델 사전 훈련의 최선의 실천 방법을 설정하는 것.
• 사전 훈련 중 레이블 정보의 영향을 평가하는 것.

제안 방법

• 다운스트림 타겟 데이터셋에 직접 사전 훈련을 수행하며, 전체 레이블된 데이터를 사용하여 실질적인 산업 환경을 시뮬레이션한다.
• 다양한 사전 훈련 목표를 제안하고 평가한다: 자기 예측(예: 특성 마스킹 및 재구성), 대조 학습(데이터 증강을 통한), 오토에인코딩(재구성 손실).
• 타겟 레이블을 사전 훈련 중에 통합하는 타겟 인식 목표를 도입한다. 예를 들어, 마스킹된 특성을 타겟 조건에 따라 예측하거나 사전 훈련 중에 타겟 샘플링을 사용한다.
• 표준 MLP와 고급 임베딩 기반 아키텍처(예: [14]에서 제안한 바와 유사한 것)를 모두 활용하여 다양한 모델 유형에 대한 일반화 능력을 평가한다.
• 표준 평가 프로토콜을 사용한다: 전체 데이터셋에서 사전 훈련을 수행한 후, 표준 훈련/검증/테스트 분할을 사용해 다운스트림 작업에서 미세 조정한다.
• 사전 훈련된 모델의 앙상블을 적용하여 다양성과 성능 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 완전히 지도 학습 설정에서 표본 기반 딥러닝 모델에 대해 사전 훈련이 일관되게 성능 향상을 가져오는가?
• RQ2 자기 예측, 대조 학습, 오토에인코딩 등의 다른 사전 훈련 목표가 표본 데이터에서 성능 면에서 어떻게 비교되는가?
• RQ3 사전 훈련 중 타겟 레이블을 통합하면 비지도 목표보다 더 나은 다운스트림 성능을 낼 수 있는가?
• RQ4 사전 훈련은 단순한 아키텍처인 MLP에 특히 유익한가, 아니면 복잡한 모델에 한정되는가?
• RQ5 사전 훈련된 모델의 앙상블은 효과적인가, 그리고 동일한 초기화에도 불구하고 모델 다양성이 유지되는가?

주요 결과

• 완전히 레이블링된 표본 기반 딥러닝 데이터셋에서 잘 튜닝된 지도 학습 기반 베이스라인보다 사전 훈련이 성능을 크게 향상시키며, 종종 GBDT 모델을 능가한다.
• 자기 예측 기반 목표(예: 마스킹된 특성 예측)가 대조 학습과 유사한 성능을 달성하며, 이는 이전에 표본 기반 딥러닝에서 보고된 바가 없는 발견이다.
• 타겟 인식 사전 훈련 목표(예: 마스킹 + 타겟 또는 재구성 + 타겟)가 비지도 대비 일관되게 뛰어난 성능을 보이며, 사전 훈련 중 레이블 정보를 활용하는 가치를 입증한다.
• 사전 훈련의 성능 향상은 단순한 MLP 아키텍처에서 가장 두드러지며, 사전 훈련을 통해 기존에 랜덤 초기화로 훈련된 최신 모델 수준에 도달한다.
• 사전 훈련된 모델의 앙상블은 추가적인 성능 향상을 가져오며, 사전 훈련이 모델 다양성을 과도하게 제약하지 않는다는 것을 시사한다.
• 가장 뛰어난 설정(마스킹 + 타겟)은 HIGGS 데이터셋에서 테스트 AUC 0.975 ± 2.8e-4를 기록하여 지도 학습 기반 베이스라인과 다른 사전 훈련 변형보다 뛰어난 성능을 보였다.