[論文レビュー] Benchmarking Distribution Shift in Tabular Data with TableShift

Josh Gardner, Zoran Popović+1 more|arXiv (Cornell University)|Dec 10, 2023

Machine Learning in Healthcare被引用数 5

ひとこと要約

この論文は、医療、金融、公共政策など多様な分野にまたがる15の異なるバイナリ分類タスクを含む、表形式機械学習における分布シフトへの頑健性を評価するベンチマーク「TableShift」を紹介する。本研究では、分布内（ID）と分布外（OOD）の精度の間に強い線形相関が存在すること、ラベル分布シフトに起因する一貫したシフトギャップが観察されること、およびモデルごとにドメイン頑健性と分布内性能のトレードオフが生じることを明らかにした。

ABSTRACT

Robustness to distribution shift has become a growing concern for text and image models as they transition from research subjects to deployment in the real world. However, high-quality benchmarks for distribution shift in tabular machine learning tasks are still lacking despite the widespread real-world use of tabular data and differences in the models used for tabular data in comparison to text and images. As a consequence, the robustness of tabular models to distribution shift is poorly understood. To address this issue, we introduce TableShift, a distribution shift benchmark for tabular data. TableShift contains 15 binary classification tasks in total, each with an associated shift, and includes a diverse set of data sources, prediction targets, and distribution shifts. The benchmark covers domains including finance, education, public policy, healthcare, and civic participation, and is accessible using only a few lines of Python code via the TableShift API. We conduct a large-scale study comparing several state-of-the-art tabular data models alongside robust learning and domain generalization methods on the benchmark tasks. Our study demonstrates (1) a linear trend between in-distribution (ID) and out-of-distribution (OOD) accuracy; (2) domain robustness methods can reduce shift gaps but at the cost of reduced ID accuracy; (3) a strong relationship between shift gap (difference between ID and OOD performance) and shifts in the label distribution. The benchmark data, Python package, model implementations, and more information about TableShift are available at https://github.com/mlfoundations/tableshift and https://tableshift.org .

研究の動機と目的

• 表形式機械学習における分布シフトのための高品質でアクセス可能なベンチマークが不足しているという問題に対処すること。これは、実世界の応用において広く使われている表形式データの文脈において極めて重要である。
• 最先端の表形式モデルが分布シフト下でどのように性能を発揮するかを調査すること。特に、頑健な学習法やドメイン一般化手法と比較しての性能を検証すること。
• 多様な表形式データセットにおける分布内（ID）精度、分布外（OOD）精度、およびラベル分布の変化との関係を理解すること。
• Python APIと事前処理済みデータセットを介して、標準化され、アクセス可能なフレームワークを提供し、表形式データにおける分布シフトに関する再現可能でスケーラブルな研究を促進すること。

提案手法

• ベンチマークは、医療、金融、教育、公共政策、市民参加など多様な分野の実世界の表形式データセットから抽出された15のバイナリ分類タスクから構成される。
• 各タスクには、時間的シフト、ドメインシフト、ラベルシフトなどの明確に定義された分布シフトが含まれており、データは分布内（ID）と分布外（OOD）のセットに分割され、頑健性の評価が可能になっている。
• TableShift APIを用いることで、生データへのプログラム的アクセスが可能であり、標準化された前処理パイプライン、特徴量エンコーディング、および一般的な機械学習フレームワーク（例：scikit-learn、PyTorch）との連携をサポートしている。
• 大規模な実験的評価により、決定木ベースのモデル（XGBoost、LightGBM、CatBoost）、ニューラルネットワーク（MLP、ResNet、TabTransformer、FT-Transformer）、および頑健な学習手法（DRO、Group DRO、DANN、IRM、VReX、CORAL、MixUp）を含む19種類のモデルタイプが評価された。
• ハイパーパramータチューニングは包括的なグリッドを用いて実施され、オリジナルの研究から得られた完全または拡張されたハイパーパramータ範囲を含めるなど、各手法間の公平な比較を確保することに注力した。
• 性能はID精度とOOD精度を指標として測定され、シフトギャップとラベル分布シフトとの相関関係を統計的に分析した。

Figure 1 : In-domain (ID) and out-of-domain (OOD) accuracy show a linear trend across 15 TableShift tasks and 19 model types ( $\rho=0.81$ ). ID accuracy ( $x$ -axis values) and change in the label distribution $\Delta_{y}$ (color) together explain 99% of the variance in OOD accuracy ( $R^{2}=0.993$

実験結果

リサーチクエスチョン

• RQ1 多様な表形式タスクおよびモデルにおいて、分布内（ID）精度と分布外（OOD）精度の間に一貫した関係が存在するか？
• RQ2 ドメイン頑健性手法（例：DRO、IRM、VReX）はシフトギャップをどれほど低減できるか。また、その際、分布内精度にどのようなトレードオフが生じるか？
• RQ3 ラベル分布シフトの大きさと、シフトギャップ（ID精度とOOD精度の差）との相関関係は、タスクごとにどの程度顕著か？
• RQ4 ラベルシフト頑健性手法（例：Adversarial Label DRO）は、表形式データにおけるラベル分布シフト下での性能低下を効果的に緩和できるか？
• RQ5 共通のアクセス可能なベンチマークは、今後の表形式機械学習における分布シフト研究の再現可能性と比較可能性を向上させることができるか？

主な発見

• すべての15のTableShiftタスクおよび19のモデルタイプにおいて、分布内（ID）精度と分布外（OOD）精度の間に強い線形トレンドが存在し、相関係数はρ = 0.81であった。
• シフトギャップ（ID精度とOOD精度の差）は非常に予測可能であり、ID精度とラベル分布シフトの両方を考慮すると、OOD精度の99％の分散が説明可能であり、決定係数R² = 0.993であった。
• ドメイン頑健性手法はシフトギャップを低減するが、一貫して分布内精度を低下させる傾向にあり、性能のトレードオフが顕在化している。
• ラベルベースの手法（例：XGBoost、LightGBM）を上回る一貫した優位性を示すモデルは存在せず、分布シフト下での頑健性において明確な優勝モデルは存在しないことが示唆された。
• ラベルシフト頑健性手法、特にAdversarial Label DROを含むものは、ラベル分布シフトに起因するシフトギャップを緩和できず、現在のアプローチにおけるこの種のシフトに対する限界を示唆している。
• ベンチマークの結果から、ラベル分布の変化がOOD性能の低下の主な要因であることが判明し、表形式データにおけるラベルシフトのより良いモデリングの必要性が強調された。

(a)