[논문 리뷰] Benchmarking Distribution Shift in Tabular Data with TableShift

Josh Gardner, Zoran Popović외 1명|arXiv (Cornell University)|2023. 12. 10.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 의료, 금융, 공공 정책 등 다양한 분야에서 온 15개의 다양한 이元분류 작업을 포함하는 표형 기계학습에서 분포 이탈에 대한 강건성 평가를 위한 벤치마크인 TableShift를 소개한다. 이는 내분포 및 외분포 정확도 간 강한 선형 상관관계, 레이블 분포 이탈과 관련된 지속적인 이탈 갭, 그리고 다양한 모델에서 도메인 강건성과 내분포 성능 간의 트레이드오���을 드러낸다.

ABSTRACT

Robustness to distribution shift has become a growing concern for text and image models as they transition from research subjects to deployment in the real world. However, high-quality benchmarks for distribution shift in tabular machine learning tasks are still lacking despite the widespread real-world use of tabular data and differences in the models used for tabular data in comparison to text and images. As a consequence, the robustness of tabular models to distribution shift is poorly understood. To address this issue, we introduce TableShift, a distribution shift benchmark for tabular data. TableShift contains 15 binary classification tasks in total, each with an associated shift, and includes a diverse set of data sources, prediction targets, and distribution shifts. The benchmark covers domains including finance, education, public policy, healthcare, and civic participation, and is accessible using only a few lines of Python code via the TableShift API. We conduct a large-scale study comparing several state-of-the-art tabular data models alongside robust learning and domain generalization methods on the benchmark tasks. Our study demonstrates (1) a linear trend between in-distribution (ID) and out-of-distribution (OOD) accuracy; (2) domain robustness methods can reduce shift gaps but at the cost of reduced ID accuracy; (3) a strong relationship between shift gap (difference between ID and OOD performance) and shifts in the label distribution. The benchmark data, Python package, model implementations, and more information about TableShift are available at https://github.com/mlfoundations/tableshift and https://tableshift.org .

연구 동기 및 목표

• 실제 응용에서 널리 사용되는 표형 데이터의 분포 이탈에 대한 고품질, 접근 가능한 벤치마크가 부족한 점을 해결하기 위해.
• 최첨단 표형 모델이 분포 이탈 하에서 어떻게 작동하는지, 특히 강건한 학습 및 도메인 일반화 방법과 비교하여 조사하기 위해.
• 다양한 표형 데이터셋에서 내분포(ID) 정확도, 외분포(OOD) 정확도, 레이블 분포의 변화 간 관계를 이해하기 위해.
• Python API와 사전 처리된 데이터셋을 통해 표준화되고 접근 가능한 프레임워크를 제공하여 표형 데이터에서의 분포 이탈에 대한 재현 가능하고 스케일러블한 연구를 가능하게 하기 위해.

제안 방법

• 벤치마크는 의료, 금융, 교육, 공공 정책, 시민 참여 등 다양한 분야의 실제 표형 데이터셋에서 유래한 15개의 이원분류 작업으로 구성된다.
• 각 작업은 정의된 분포 이탈(예: 시간적, 도메인, 또는 레이블 이탈)을 포함하며, 강건성 평가를 위해 데이터를 내분포(ID) 및 외분포(OOD) 세트로 분할한다.
• TableShift API는 원시 데이터셋에 프로그래밍 방식으로 접근할 수 있도록 하며, 표준화된 전처리 파ip라인, 특징 인코딩, 그리고 일반적인 머신러닝 프레임워크(예: scikit-learn, PyTorch)를 지원한다.
• 대규모 실험적 연구를 통해 XGBoost, LightGBM, CatBoost 등의 트리 기반 모델, MLP, ResNet, TabTransformer, FT-Transformer 등의 신경망, 그리고 DRO, Group DRO, DANN, IRM, VReX, CORAL, MixUp 등의 강건한 학습 방법을 포함한 총 19종의 모델 유형을 평가한다.
• 하이퍼파ram터 튜닝은 포괄적인 그리드를 사용하며, 원래 논문에서 제시된 전체 또는 확장된 하이퍼파ram터 범위를 포함시켜 방법 간 공정한 비교를 확보하는 데 중점을 둔다.
• 성능는 ID 및 OOD 정확도로 측정되며, 이격 갭과 레이블 분포 이탈 간 상관관계를 평가하기 위한 통계 분석이 수행된다.

Figure 1 : In-domain (ID) and out-of-domain (OOD) accuracy show a linear trend across 15 TableShift tasks and 19 model types ( $\rho=0.81$ ). ID accuracy ( $x$ -axis values) and change in the label distribution $\Delta_{y}$ (color) together explain 99% of the variance in OOD accuracy ( $R^{2}=0.993$

실험 결과

연구 질문

• RQ1 다양한 표형 작업 및 모델에서 내분포(ID) 및 외분포(OOD) 성능 간 일관된 관계가 존재하는가?
• RQ2 도메인 강건성 방법(예: DRO, IRM, VReX)은 이격 갭을 어느 정도 줄이고, 내분포 정확도와의 트레이드오프는 어떠한가?
• RQ3 레이블 분포 이탈의 크기와 이격 갭(내분포 및 외분포 정확도의 차이) 간의 상관관계는 각 작업에서 어떻게 나타나는가?
• RQ4 레이블 분포 이탈에 대한 강건한 방법(예: 적대적 레이블 DRO)은 표형 데이터에서 레이블 분포 이탈 상황에서의 성능 저하를 효과적으로 완화하는가?
• RQ5 공통의 접근 가능한 벤치마크는 향후 표형 기계학습에서의 분포 이탈 연구의 재현 가능성과 비교 가능성 향상에 기여하는가?

주요 결과

• 모든 15개의 TableShift 작업 및 19종의 모델 유형에서 내분포(ID) 및 외분포(OOD) 정확도 간 강한 선형 추세가 존재하며, 상관계수는 ρ = 0.81이다.
• 이격 갭(내분포 및 외분포 정확도의 차이)은 매우 예측 가능하며, 내분포 정확도와 레이블 분포 이탈을 고려할 경우 OOD 정확도의 99%의 분산을 설명한다(R² = 0.993).
• 도메인 강건성 방법은 이격 갭을 줄이지만 항상 내분포 정확도의 감소를 동반하여 성능 트레이드오프를 보인다.
• 어느 한 모델도 모든 작업에서 베이스라인 방법(예: XGBoost, LightGBM)을 일관되게 능가하지는 않으며, 분포 이탈 하에서의 강건성에서 명확한 승자가 존재하지 않음을 시사한다.
• 레이블 분포 이탈에 대한 강건한 방법, 예를 들어 Adversarial Label DRO는 레이블 분포 이탈로 인한 이격 갭을 완화하지 못하며, 현재 이와 같은 이탈에 대한 접근 방식의 한계를 시사한다.
• 벤치마크는 레이블 분포의 변화가 외분포 성능 저하의 주요 원인임을 드러내며, 표형 데이터에서 레이블 이탈을 더 잘 모델링할 필요성이 있음을 강조한다.

(a)