[논문 리뷰] Transfer Learning with Deep Tabular Models

R. V. Levin, Valeriia Cherepanova외 6명|arXiv (Cornell University)|2022. 06. 30.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 18

한 줄 요약

이 논문은 저데이터 의료 진단 시나리오에서 깊이 있는 테이블 모델을 사용한 전이 학습이 기울기 부스팅 결정 트리(GBDT)보다 유의미하게 뛰어난 성능을 보임을 입증한다. 감독형 사전 훈련과 기능 집합 불일치 문제를 해결하기 위한 새로운 가짜 특징 방법을 활용함으로써, 특히 후행 데이터가 부족한 경우 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent work on deep learning for tabular data demonstrates the strong performance of deep tabular models, often bridging the gap between gradient boosted decision trees and neural networks. Accuracy aside, a major advantage of neural models is that they learn reusable features and are easily fine-tuned in new domains. This property is often exploited in computer vision and natural language applications, where transfer learning is indispensable when task-specific training data is scarce. In this work, we demonstrate that upstream data gives tabular neural networks a decisive advantage over widely used GBDT models. We propose a realistic medical diagnosis benchmark for tabular transfer learning, and we present a how-to guide for using upstream data to boost performance with a variety of tabular neural network architectures. Finally, we propose a pseudo-feature method for cases where the upstream and downstream feature sets differ, a tabular-specific problem widespread in real-world applications. Our code is available at https://github.com/LevinRoman/tabular-transfer-learning .

연구 동기 및 목표

• 테이블 기반 머신 러닝에서 레이블이 부족한 문제를 다루며, 특히 데이터 수집이 비용이 많이 드는 의료 적용 분야에서의 영향을 고려한다.
• 기존의 GBDT 접근 방식과는 달리, 깊이 있는 테이블 모델이 작업 간 지식을 효과적으로 전이할 수 있는지 조사한다.
• 상류 및 하류 데이터셋 간 기능 집합 불일치와 같은 실제 문제에 대한 실용적인 해결책을 개발한다.
• 테이블 전이 학습에서 감독형과 자기지도형 사전 훈련 전략을 비교하여 어떤 것이 더 전이 가능한 표현을 생성하는지 파악한다.

제안 방법

• 일반화 가능한 표현을 학습하기 위해 대규모 상류 테이블 데이터셋에서 깊이 있는 테이블 모델(예: FT-Transformer, TabMLP)을 사전 훈련한다.
• 제한된 레이블 데이터가 있는 후행 작업에서 사전 훈련된 모델을 미세 조정함으로써 지식 전이를 가능하게 한다.
• 가짜 특징 방법을 제안: 후행 데이터에 없는 기능을 가진 상류 데이터에서 사전 훈련한 후, 상류 데이터에서 누락된 기능을 예측하고 재사전 훈련 및 전이를 수행한다.
• 감독형 및 자기지도형 사전 훈련 전략을 모두 구현하여 테이블 환경에서의 전이 가능성에 대해 비교한다.
• 다양한 데이터 가용성 수준을 가진 실제 의료 진단 벤치마크 작업을 구성하기 위해 MetaMIMIC 레포지토리를 활용한다.
• 전이 후 후행 성능 최적화를 위해 가용 가능한 머리(선형 또는 MLP)를 갖춘 엔드 투 엔드 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 후행 데이터가 제한적일 경우, 전이 학습을 적용한 깊이 있는 테이블 모델이 강력한 GBDT 기준 모델을 능가할 수 있는가?
• RQ2 테이블 영역에서 감독형 사전 훈련이 자기지도형 사전 훈련보다 더 전이 가능한 표현을 생성하는가?
• RQ3 제안된 가짜 특징 방법이 상류 및 하류 데이터셋 간 기능 집합 불일치 문제를 다루는 데 얼마나 효과적인가?
• RQ4 사전 훈련 전략(감독형 대비 자기지도형)이 저데이터 설정에서 후행 성능에 어떤 영향을 미치는가?
• RQ5 깊이 있는 테이블 모델을 사용한 전이 학습이 최소한의 레이블 예제로 다양한 의료 진단 작업에 효과적으로 일반화될 수 있는가?

주요 결과

• 후행 데이터가 제한적일 경우, 전이 학습을 적용한 깊이 있는 테이블 모델은 상류 데이터를 활용하는 스태킹 기반의 GBDT 기준 모델조차도 일관되게 능가한다.
• 컴퓨터 비전 분야의 추세와는 달리, 테이블 데이터에서 감독형 사전 훈련이 자기지도형 사전 훈련보다 더 전이 가능한 특징을 생성한다.
• 제안된 가짜 특징 방법은 누락된 기능의 진짜 값이 있는 모델과 비교해 유사한 성능을 달성하며, 누락된 기능을 기각하는 방법보다 유의미하게 뛰어난 성능을 보인다.
• MetaMIMIC 의료 진단 벤치마크에서, FT-Transformer를 사용한 전이 학습은 'Alcohol' 작업에서 AUC 0.878, 'Purpura' 작업에서 AUC 0.836의 ROC-AUC 점수를 기록했다.
• 후행 데이터의 1%만으로도 전이 학습을 적용한 깊이 있는 테이블 모델은 'Alcohol' 작업에서 AUC 0.692를 달성했으며, XGBoost+스태킹(0.692)과 CatBoost+스태킹(0.692)을 능가해 저데이터 환경에서의 강건성을 입증했다.
• 일부 경우에서 가짜 특징 방법은 누락된 기능을 기각하는 것보다 최대 0.05 AUC 향상을 이끌어내어 실제 환경에서의 실용적 유용성을 입증했다.