[论文解读] Benchmarking Distribution Shift in Tabular Data with TableShift

Josh Gardner, Zoran Popović+1 more|arXiv (Cornell University)|Dec 10, 2023

Machine Learning in Healthcare被引用 5

一句话总结

本文提出了TableShift，一个用于评估表格机器学习中分布偏移鲁棒性的基准，包含医疗、金融和公共政策等领域在内的15个多样化二分类任务。研究揭示了分布内（ID）与分布外（OOD）准确率之间存在强烈的线性相关性，且存在与标签分布偏移相关的持续性偏移差距，同时发现模型在领域鲁棒性与分布内性能之间存在权衡。

ABSTRACT

Robustness to distribution shift has become a growing concern for text and image models as they transition from research subjects to deployment in the real world. However, high-quality benchmarks for distribution shift in tabular machine learning tasks are still lacking despite the widespread real-world use of tabular data and differences in the models used for tabular data in comparison to text and images. As a consequence, the robustness of tabular models to distribution shift is poorly understood. To address this issue, we introduce TableShift, a distribution shift benchmark for tabular data. TableShift contains 15 binary classification tasks in total, each with an associated shift, and includes a diverse set of data sources, prediction targets, and distribution shifts. The benchmark covers domains including finance, education, public policy, healthcare, and civic participation, and is accessible using only a few lines of Python code via the TableShift API. We conduct a large-scale study comparing several state-of-the-art tabular data models alongside robust learning and domain generalization methods on the benchmark tasks. Our study demonstrates (1) a linear trend between in-distribution (ID) and out-of-distribution (OOD) accuracy; (2) domain robustness methods can reduce shift gaps but at the cost of reduced ID accuracy; (3) a strong relationship between shift gap (difference between ID and OOD performance) and shifts in the label distribution. The benchmark data, Python package, model implementations, and more information about TableShift are available at https://github.com/mlfoundations/tableshift and https://tableshift.org .

研究动机与目标

• 为解决当前表格机器学习中分布偏移缺乏高质量、可访问基准的问题，鉴于表格数据在现实应用中的广泛应用，此问题至关重要。
• 研究最先进表格模型在分布偏移下的表现，特别是与鲁棒学习和领域泛化方法的对比。
• 理解在多样化表格数据集中，分布内（ID）准确率、分布外（OOD）准确率以及标签分布变化之间的关系。
• 通过Python API和预处理数据集，提供一个标准化、可访问的框架，以支持表格数据中分布偏移研究的可重现性和可扩展性。

提出的方法

• 该基准包含15个二分类任务，数据源自医疗、金融、教育、公共政策和公民参与等领域的实际表格数据集。
• 每个任务均定义了一种特定的分布偏移（如时间偏移、领域偏移或标签偏移），并将数据划分为分布内（ID）和分布外（OOD）数据集，以评估鲁棒性。
• TableShift API 支持程序化访问原始数据集，提供标准化的预处理流程、特征编码，并兼容常见机器学习框架（如scikit-learn、PyTorch）。
• 一项大规模实证研究评估了19种模型类型，包括树模型（XGBoost、LightGBM、CatBoost）、神经网络（MLP、ResNet、TabTransformer、FT-Transformer）以及鲁棒学习方法（DRO、Group DRO、DANN、IRM、VReX、CORAL、MixUp）。
• 通过全面的网格搜索进行超参数调优，重点在于通过包含原始工作中的完整或扩展超参数范围，确保方法间的公平比较。
• 性能通过ID和OOD准确率进行衡量，并辅以统计分析，评估偏移差距与标签分布偏移之间的相关性。

Figure 1 : In-domain (ID) and out-of-domain (OOD) accuracy show a linear trend across 15 TableShift tasks and 19 model types ( $\rho=0.81$ ). ID accuracy ( $x$ -axis values) and change in the label distribution $\Delta_{y}$ (color) together explain 99% of the variance in OOD accuracy ( $R^{2}=0.993$

实验结果

研究问题

• RQ1 在多样化表格任务和模型中，分布内（ID）与分布外（OOD）性能之间是否存在一致关系？
• RQ2 领域鲁棒性方法（如DRO、IRM、VReX）在多大程度上减少了偏移差距？其与分布内准确率之间是否存在权衡？
• RQ3 标签分布偏移的幅度与偏移差距（ID与OOD准确率之差）在各类任务中是否存在相关性？
• RQ4 标签分布偏移鲁棒性方法（如对抗性标签DRO）是否能有效缓解表格数据中因标签分布偏移导致的性能下降？
• RQ5 共享且可访问的基准是否能提升未来表格机器学习中分布偏移研究的可重现性与可比性？

主要发现

• 在所有15个TableShift任务和19种模型类型中，分布内（ID）与分布外（OOD）准确率之间存在强烈的线性趋势，相关系数为ρ = 0.81。
• 偏移差距（ID与OOD准确率之差）具有高度可预测性，当同时考虑ID准确率和标签分布偏移时，可解释99%的OOD准确率方差（R² = 0.993）。
• 领域鲁棒性方法虽能减少偏移差距，但始终导致分布内准确率下降，表明存在性能权衡。
• 无单一模型在所有任务中持续优于基线方法（如XGBoost、LightGBM），表明在分布偏移下尚无明确的鲁棒性“胜者”。
• 标签分布偏移鲁棒性方法（包括对抗性标签DRO）无法缓解由标签分布偏移引起的偏移差距，表明当前方法在应对此类偏移方面存在局限。
• 该基准表明，标签分布的变化是导致OOD性能下降的主要驱动因素，强调了在表格数据中更优建模标签偏移的必要性。

(a)