[論文レビュー] MambaTab: A Plug-and-Play Model for Learning Tabular Data

Md Atik Ahamed, Qiang Cheng|arXiv (Cornell University)|Jan 16, 2024

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

MambaTabは、Mamba（構造的状態空間モデル、SSM）を用いた、プラグアンドプレイで軽量なテーブルデータ向けモデルを提案する。これにより、最小限の前処理でエンドツーエンドの教師あり学習が可能となる。MambaTabは、8つのベンチマークデータセットで最先端の性能を達成しており、Transformerベースのベースラインの1%未塔のパラメータ数で実現している。また、効率的な特徴量の逐次追加学習（feature incremental learning）と線形パラメータスケーリングをサポートしている。

ABSTRACT

Despite the prevalence of images and texts in machine learning, tabular data remains widely used across various domains. Existing deep learning models, such as convolutional neural networks and transformers, perform well however demand extensive preprocessing and tuning limiting accessibility and scalability. This work introduces an innovative approach based on a structured state-space model (SSM), MambaTab, for tabular data. SSMs have strong capabilities for efficiently extracting effective representations from data with long-range dependencies. MambaTab leverages Mamba, an emerging SSM variant, for end-to-end supervised learning on tables. Compared to state-of-the-art baselines, MambaTab delivers superior performance while requiring significantly fewer parameters, as empirically validated on diverse benchmark datasets. MambaTab's efficiency, scalability, generalizability, and predictive gains signify it as a lightweight, "plug-and-play" solution for diverse tabular data with promise for enabling wider practical applications.

研究の動機と目的

• 既存の深層学習モデルがテーブルデータに対して高い計算コストと前処理の負荷を要する問題に対処すること。
• 最小限のハイパーパラメータチューニングで、効率的かつスケーラブルで一般化可能なテーブルデータ学習を可能にすること。
• 従来のデータを再学習せずに、新しい特徴量を逐次的に追加する特徴量の逐次的学習（feature incremental learning）をサポートすること。
• 多様なテーブルデータセットにわたって高い性能を維持する、軽量で即時利用可能なソリューションを開発すること。
• 構造的状態空間モデル（SSM）、特にMambaが、強力な表現学習を可能にし、テーブルデータを効果的にモデル化できることを示すこと。

提案手法

• MambaTabは、テーブル系列データのモデリングに、効率的なSSMの変種であるMambaをコアアーキテクチャとして採用する。
• 残差接続を用いて複数のMambaブロックをスタックすることで、線形なパラメータ増加でより深い表現を実現する。
• 学習の安定化と性能向上のため、埋め込み表現に層正則化（layer normalization）を適用する。
• ワンホットエンコーディングや特徴量スケーリングの必要がない場合が多く、最小限のデータ前処理でエンドツーエンド学習を実行する。
• アーキテクチャは、通常の教師あり学習と、従来のデータを破棄せずに新しい特徴量を追加する特徴量の逐次的学習の両方をサポートする。
• 出力ヘッドは柔軟に設計されており、分類タスクおよび将来的な回帰タスクへの適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 Mambaのような構造的状態空間モデル（SSM）は、Transformer や CNN と比較して、テーブルデータにおいて優れた性能を達成できるか？
• RQ2 MambaTabは、最先端のモデルと比較して顕著に少ないパラメータ数で高い性能を維持できるか？
• RQ3 MambaTabは、特徴量を逐次的に追加する状況において、効果的に特徴量の逐次的学習を処理できるか？
• RQ4 MambaTabは、最小限のデータ前処理で、多様なテーブルデータセットに対して優れた性能を示すか？
• RQ5 層正則化やバッチサイズといったアーキテクチャ的要素が、モデルの安定性と性能に与える影響は何か？

主な発見

• MambaTabは、8つの公開テーブルデータセットにおいて、通常の教師あり学習および特徴量の逐次的学習の両設定で、最先端のベースライン、特にTransformerベースのモデルを上回る性能を達成した。
• 層正則化を適用した場合、特にCGデータセットで0.771、CBデータセットで0.862という優れたAUROCスコアを達成しており、その有効性が裏付けられた。
• MambaTabは、同等のTransformerベースのモデルと比較して、1%未塔のパラメータ数で、同等またはそれ以上の性能を維持・超過した。
• バッチサイズにほとんど感受性がなく、60から140の範囲で安定した性能を示しており、優れた一般化性能を示している。
• Mambaブロックの線形的スケーリングによりパラメータ数が増加しても、性能は一貫して維持され、優れた情報保持性とスケーラビリティを示した。
• アブレーションスタディの結果、層正則化は平均して0.012 AUROCの性能向上をもたらしたことが確認され、アーキテクチャへの組み込みが正当化された。