[論文レビュー] Why Tabular Foundation Models Should Be a Research Priority

Boris van Breugel, Mihaela van der Schaar|arXiv (Cornell University)|May 2, 2024

Geological Modeling and Analysis被引用数 4

ひとこと要約

この立場表明論文は、表形式データ向けの新しい基盤モデルである Large Tabular Models (LTMs) の研究を優先すべきだと主張している。LTMs は、分野を越えた文脈的で少数の例に基づく、および合成データ生成を可能にすることで、データ科学を変革する可能性を秘めている。著者らは、LTMs を科学的発見、プライバシー保護型データ共有、強固で包摂的な機械学習に貢献する高インパクトで未開拓の分野であると提唱している。

ABSTRACT

Recent text and image foundation models are incredibly impressive, and these models are attracting an ever-increasing portion of research resources. In this position piece we aim to shift the ML research community's priorities ever so slightly to a different modality: tabular data. Tabular data is the dominant modality in many fields, yet it is given hardly any research attention and significantly lags behind in terms of scale and power. We believe the time is now to start developing tabular foundation models, or what we coin a Large Tabular Model (LTM). LTMs could revolutionise the way science and ML use tabular data: not as single datasets that are analyzed in a vacuum, but contextualized with respect to related datasets. The potential impact is far-reaching: from few-shot tabular models to automating data science; from out-of-distribution synthetic data to empowering multidisciplinary scientific discovery. We intend to excite reflections on the modalities we study, and convince some researchers to study large tabular models.

研究の動機と目的

• 実世界の応用において支配的であるにもかかわらず、表形式データが基盤モデル研究において著しく不足していることの顕在化。
• 表形式基盤モデル（LTMs）が、テキストやビジョンの基盤モデルと同等の高インパクトで未開拓の分野を提供するという主張。
• LTMs が軽視されてきた理由の解明：大規模な表形式メタデータセットの欠如、表形式機械学習における本質的難易度、およびビジョンやテキストを好む人間の認知バイアス。
• LTMs が、少数の例に基づくデータ拡張、合成データ生成、および異分野間のデータ統合といった変革的応用を可能にできることの提案。
• 研究者らに LTMs に注目を向けるよう呼びかけ、LLM よりも低い計算的障壁により、公共の利益、包摂性、およびより広範な参加を促進する可能性を強調。

提案手法

• LLMs やビジョン FMs と同様に、表形式データに特化した基盤モデルとして Large Tabular Models (LTMs) の概念を提唱。
• LTMs が合成表形式データの生成、複数データセット間の結合、および少数の例による欠損カラムの補完を可能にすると位置づける。
• 下流タスクへの LTM 嵪合の活用を提案する。例：モデルのファインチューニングや他の基盤モデルとの統合。
• ImageNet がビジョン FMs の発展を可能にしたのと同様に、LTMs を訓練するための大規模で多様かつ高品質な表形式メタデータセットの必要性を強調。
• 多様な分野やデータ分布において一般化性、バイアス、信頼性を評価する評価プロトコルの構築を提言。
• 生成画像やテキストモデルと比較して、表形式データにおけるトレーサビリティと身元確認の重要性を強調し、誤用リスクの低減を図る。

Figure 1: Representation of different modalities in foundation model research across recent ML conferences, roughly estimated as the number of accepted papers with abstracts containing keywords (see Appendix A ). LLMs are booming and tabular data is heavily underrepresented.

実験結果

リサーチクエスチョン

• RQ1 科学や産業で広く用いられているにもかかわらず、なぜ表形式データは基盤モデル研究においてテキストやビジョンと比べてほとんど注目されていないのか？
• RQ2 表形式データは基盤モデル開発においてどのような独自の課題をもたらし、それらはどのように克服できるか？
• RQ3 Large Tabular Models (LTMs) は、少数の例に基づくデータ拡張、合成データ生成、および異データセット間の推論をどのように可能にするか？
• RQ4 LTMs がデータ民主化、プライバシー、科学的発見、およびモデルの頑健性に与える潜在的影響は何か？
• RQ5 LTMs はどのように信頼性を持って評価できるか。また、バイアスや誤用を防ぐためにどのような保護策が必要か？

主な発見

• 表形式データは科学、医療、金融、政府分野で支配的であるが、基盤モデル研究においては著しく不足している。
• XGBoost などの強力なベースラインが存在するにもかかわらず、表形式機械学習はビジョンや NLP ほど急速に進展しておらず、基盤モデル分野における革新の余地が大きい。
• LTMs は統計的性質を保持した高品質な合成表形式データを生成でき、プライバシー保護型データ共有を可能にする。
• LTMs は、少数の例によるプロンプトを用いて、欠損カラムの推定や異分野間のデータセット結合といった異分野間推論を実行できる。
• 表形式データのトレーサビリティの高さと、ドメインの専門知識がなければ信ぴょう性のある表形式データを捏造するのが難しいことから、LTMs の誤用リスクはテキストやビジョン FMs よりも低い。
• LTM 研究は、LLM よりも低い計算的障壁を有するため、高インパクトでアクセスしやすく、広範な参加と迅速な進展を促進する未開拓の分野である。

Figure 2: Sampling continuous distributions using LLMs autoregressively is inefficient . Assume we autoregressively sample tokens aiming to generate numbers that follow a standard Gaussian. What token probabilities should the LLM output at each sampling step? Let us consider a total vocabulary of ju