[論文レビュー] Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN

Qinyi Liu, Mohammad Khalil+1 more|arXiv (Cornell University)|Jan 25, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

この論文は TabPFN と FT-TabPFN をデータセット間・分布シフト下での精度と公平性の観点から評価し、高い予測性能を示す一方で、公平性の改善は中程度で一貫しない、特に MNAR シフト下で顕著。

ABSTRACT

Foundation models for tabular data, such as the Tabular Prior-data Fitted Network (TabPFN), are pre-trained on a massive number of synthetic datasets generated by structural causal models (SCM). They leverage in-context learning to offer high predictive accuracy in real-world tasks. However, the fairness properties of these foundational models, which incorporate ideas from causal reasoning during pre-training, remain underexplored. In this work, we conduct a comprehensive empirical evaluation of TabPFN and its fine-tuned variants, assessing predictive performance, fairness, and robustness across varying dataset sizes and distributional shifts. Our results reveal that while TabPFN achieves stronger predictive accuracy compared to baselines and exhibits robustness to spurious correlations, improvements in fairness are moderate and inconsistent, particularly under missing-not-at-random (MNAR) covariate shifts. These findings suggest that the causal pre-training in TabPFN is helpful but insufficient for algorithmic fairness, highlighting implications for deploying TabPFN (and similar) models in practice and the need for further fairness interventions.

研究の動機と目的

• TabPFN および FT-TabPFN の予測精度を、データセットサイズとベンチマークの変化に対して評価する。
• TabPFN バリアントのグループ公平性（デモグラフィック・パリティおよび等化オッズ）を評価する。
• 偽装相関とMNAR 共変量シフトに対する TabPFN の頑健性を検討する。
• 公平性と頑健性の基準の下で TabPFN ベースの手法を従来のベースラインと比較する。

提案手法

• 数百万の合成 SCM 主導の表形式タスクで TabPFN を事前学習し、FT-TabPFN をファインチューニングする。
• 標準化前処理を用いて Heart、Bank、Law、Adult の4つの表形式公平性ベンチマークで評価する。
• ゼロショットの TabPFN および FT-TabPFN を古典的ベースライン（LR、RF、MLP）と併用する。
• FairLearn を用いて、500〜全データに対してサンプルサイズを変化させつつ精度と公平性（DPと EO）を評価する。
• 偽装相関の摂動（Z_spur）を導入して非因果依存性下での反転一貫性を検証する。
• biased サブグループを除去してMNAR 共変量シフトをシミュレートし、公平性と精度の頑健性を調べる。

実験結果

リサーチクエスチョン

• RQ1 RQ1: TabPFN および FT-TabPFN は、従来モデルと比較して、異なるデータセットサイズで精度と公平性の点でどのようにパフォーマンスを示すか？
• RQ2 RQ2: 共変量シフトと偽装相関が存在する状況で、TabPFN および FT-TabPFN は精度と公平性の両方をどれだけ頑健に維持するか？

主な発見

• FT-TabPFN および TabPFN は、サイズとデータセット全体で最高またはほぼ最高の精度を達成し、Bank および Heart で強力なパフォーマンスを示す。
• TabPFN のバリアントは、特にデータが少ない領域で公平性が優れており、EO/DP はスケールとデータセットに応じて変化する。
• TabPFN モデルは偽装相関に対して高い反転一貫性を示すなど、偽装相関に対する頑健性が強い。
• MNAR 共変量シフト下で TabPFN/FT-TabPFN は高い精度（0.86–0.99）を維持する一方で、公平性の改善はデータセットによって一貫性がなく（DP/EO はデータセットによって異なる）。
• 公平性の利得はデータセット間で一様ではなく、DP は 0.04–0.42、EO は 0.03–0.27 の範囲で、データセットと条件に依存する。
• Law データセットは、偽装摂動下で整合性と精度が低くなる異常を示し、属性の極端な不均衡に関連。