[논문 리뷰] MambaTab: A Plug-and-Play Model for Learning Tabular Data

Md Atik Ahamed, Qiang Cheng|arXiv (Cornell University)|2024. 01. 16.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

MambaTab은 Mamba, 구조적 상태공간모형(SSM)의 변종을 사용하여 표본 데이터에 대한 플러그 앤 플레이, 경량 모델을 제안한다. 이는 최소한의 사전처리로 종단 간 지도 학습을 가능하게 하며, 8개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 트랜스포머 기반 기준 모델의 1퍼센트 미만의 파라미터를 사용하며, 효율적인 기능 증분 학습과 선형 파라미터 스케일링을 지원한다.

ABSTRACT

Despite the prevalence of images and texts in machine learning, tabular data remains widely used across various domains. Existing deep learning models, such as convolutional neural networks and transformers, perform well however demand extensive preprocessing and tuning limiting accessibility and scalability. This work introduces an innovative approach based on a structured state-space model (SSM), MambaTab, for tabular data. SSMs have strong capabilities for efficiently extracting effective representations from data with long-range dependencies. MambaTab leverages Mamba, an emerging SSM variant, for end-to-end supervised learning on tables. Compared to state-of-the-art baselines, MambaTab delivers superior performance while requiring significantly fewer parameters, as empirically validated on diverse benchmark datasets. MambaTab's efficiency, scalability, generalizability, and predictive gains signify it as a lightweight, "plug-and-play" solution for diverse tabular data with promise for enabling wider practical applications.

연구 동기 및 목표

• 기존 표본 데이터를 위한 딥 러닝 모델의 높은 계산 비용과 사전처리 요구 사항을 해결하기 위해.
• 최소한의 하이퍼파rameter 튜닝으로 효율적이고 확장 가능하며 일반화 가능한 표본 데이터 학습을 가능하게 하기 위해.
• 기존 데이터를 재학습하지 않고도 새로운 기능을 순차적으로 추가할 수 있는 기능 증분 학습을 지원하기 위해.
• 다양한 표본 데이터셋에서 높은 성능을 유지하는 경량의 즉시 사용 가능한 솔루션을 개발하기 위해.
• 특히 Mamba를 포함한 구조적 상태공간모형(SSM)이 강력한 표현 학습 능력을 보이며 표본 데이터를 효과적으로 모델링할 수 있음을 입증하기 위해.

제안 방법

• MambaTab은 표본 시퀀스 모델링을 위한 핵심 아키텍처로 효율적인 SSM 변종인 Mamba를 사용한다.
• 잔차 연결을 사용하여 다수의 Mamba 블록을 스택하여 선형 파라미터 증가로 깊은 표현을 가능하게 한다.
• 학습 안정성 향상과 성능 향상을 위해 임bedded 표현에 층 정규화를 적용한다.
• 일부 경우를 제외하고는 원핫 인코딩이나 특성 스케일링이 필요 없는 최소한의 데이터 사전처리로 종단 간 학습을 수행한다.
• 모델은 기존의 지도 학습과 기능 증분 학습 모두를 지원하며, 이는 이전 데이터를 기각하지 않고도 새로운 기능을 추가할 수 있음을 의미한다.
• 출력 헤드는 분류 작업뿐만 아니라 향후 회귀 작업에도 적응 가능한 유연한 아키텍처를 갖춘다.

실험 결과

연구 질문

• RQ1 Mamba와 같은 구조적 상태공간모형(SSM)이 트랜스포머 및 CNN보다 표본 데이터에서 뛰어난 성능을 낼 수 있는가?
• RQ2 MambaTab은 최신 기술 수준의 모델보다 훨씬 적은 파라미터로도 높은 성능을 유지하는가?
• RQ3 MambaTab은 기능이 순차적으로 추가되는 기능 증분 학습을 효과적으로 처리할 수 있는가?
• RQ4 최소한의 데이터 사전처리로 다양한 표본 데이터셋에서 모델 성능은 어떻게 되는가?
• RQ5 층 정규화 및 배치 크기와 같은 아키텍처 구성 요소가 모델 안정성과 성능에 미치는 영향은 무엇인가?

주요 결과

• MambaTab은 8개의 공개 표본 데이터셋에서 기존 최신 기술 수준(SOTA) 기준 모델, 특히 트랜스포머 기반 모델보다 종단 간 지도 학습 및 기능 증분 학습 설정 모두에서 뛰어난 성능을 보였다.
• 층 정규화를 적용했을 경우, 예를 들어 CG 데이터셋에서 0.771, CB 데이터셋에서 0.862의 AUROC 점수를 기록하며 그 효과를 입증했다.
• MambaTab은 유사한 트랜스포머 기반 모델 대비 파라미터 수의 1퍼센트 미만을 사용하면서도 동등하거나 그 이상의 성능을 유지하거나 초월했다.
• 배치 크기에 대한 민감도가 매우 낮아 배치 크기가 60에서 140 사이에서 안정적인 성능을 보이며 강력한 일반화 능력을 보였다.
• Mamba 블록을 선형적으로 확장하면 파라미터 수가 증가하지만 성능은 일관되게 유지되어 강력한 정보 유지 및 확장성을 보였다.
• 제거 실험 결과, 층 정규화가 평균 0.012 AUROC 향상에 기여함을 확인하여 아키텍처에 포함시키는 것이 타당함을 입증했다.