[논문 리뷰] Data-IQ: Characterizing subgroups with heterogeneous outcomes in tabular data

Nabeel Seedat, Jonathan Crabbé외 2명|arXiv (Cornell University)|2022. 10. 24.

Machine Learning in Healthcare인용 수 6

한 줄 요약

Data-IQ는 모델 훈련 중 예측 신뢰도와 애로티크 불확실성에 기반하여 표본 데이터를 Easy, Ambiguous, Hard 세 가지 하위군으로 체계적으로 계층화하는 프레임워크를 제안한다. 이는 다양한 아키텍처에서 모델에 종속되지 않는 강력한 특성화를 가능하게 하며, 데이터 품질 인사이트, 특성 확보, 모델 배포 향상에 기여한다. 모델 간 일관된 하위군 식별이 가능하다.

ABSTRACT

High model performance, on average, can hide that models may systematically underperform on subgroups of the data. We consider the tabular setting, which surfaces the unique issue of outcome heterogeneity - this is prevalent in areas such as healthcare, where patients with similar features can have different outcomes, thus making reliable predictions challenging. To tackle this, we propose Data-IQ, a framework to systematically stratify examples into subgroups with respect to their outcomes. We do this by analyzing the behavior of individual examples during training, based on their predictive confidence and, importantly, the aleatoric (data) uncertainty. Capturing the aleatoric uncertainty permits a principled characterization and then subsequent stratification of data examples into three distinct subgroups (Easy, Ambiguous, Hard). We experimentally demonstrate the benefits of Data-IQ on four real-world medical datasets. We show that Data-IQ's characterization of examples is most robust to variation across similarly performant (yet different) models, compared to baselines. Since Data-IQ can be used with any ML model (including neural networks, gradient boosting etc.), this property ensures consistency of data characterization, while allowing flexible model selection. Taking this a step further, we demonstrate that the subgroups enable us to construct new approaches to both feature acquisition and dataset selection. Furthermore, we highlight how the subgroups can inform reliable model usage, noting the significant impact of the Ambiguous subgroup on model generalization.

연구 동기 및 목표

• 표본 데이터에서 유사한 특성이 서로 다른 결과를 낳는 결과 이질성 문제를 해결하기 위해, 특히 헬스케어 및 금융 분야에서의 적용을 목적으로 한다.
• 다양한 모델 아키텍처 간에 안정적인 성능을 보이는, 결과 이질성을 가진 하위군을 체계적이고 모델에 종속되지 않게 식별하는 방법을 개발한다.
• 훈련 동적 특성 기반으로 데이터 예측을 분류함으로써, 데이터 수집, 데이터셋 선택, 신뢰할 수 있는 모델 배포에 실질적인 인사이트를 제공한다.
• 모델 하이퍼파rameter나 아키텍처의 변화에도 불구하고 일관된 하위군 특성화를 보장함으로써, 모델 성능 평가에 대한 신뢰도를 향상시킨다.

제안 방법

• 모델 훈련 동적 특성을 분석함으로써, 훈련 과정 중 모델 체크포인트를 거쳐 개별 예측의 행동을 분석한다.
• 예측 신뢰도와 애로티크(데이터) 불확실성을 사용하여 각 예측을 Easy(높은 신뢰도, 올바른 예측), Ambiguous(낮은 신뢰도, 정보 부족), Hard(높은 신뢰도, 잘못된 예측) 중 하나로 분류한다.
• 본질적인 데이터 수준의 변동성을 포괄하는 원칙적인 불확실성 추정 방법을 적용하여 신뢰할 수 있는 하위군 계층화를 가능하게 한다.
• 중간 모델 상태를 분석함으로써, 신경망, 기울기 부스팅 등 단계적으로 훈련되는 모든 머신러닝 모델을 지원한다.
• 다양한 모델 파arameter화 및 아키텍처 간 하위군 할당의 안정성을 평가하기 위해 스피어만 상관관계 및 오버랩 지표를 사용한다.
• Ambiguous 예측과 같은 고영향력 하위군을 식별함으로써, 데이터 가공, 특성 확보, 데이터셋 선택과 같은 후속 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표본 데이터의 결과 이질성 기반으로, 모델 아키텍처에 종속되지 않고 데이터 예측을 하위군으로 체계적으로 식별하고 계층화할 수 있는가?
• RQ2 유사한 성능를 보이는 서로 다른 아키텍처나 하이퍼파rameter를 가진 모델 간에 하위군 특성화가 얼마나 안정적인가?
• RQ3 하위군 식별이 표적 특성 확보나 데이터셋 선택과 같은 실질적 데이터 품질 향상에 어느 정도 기여할 수 있는가?
• RQ4 Ambiguous 하위군이 실제 운영 환경에서 모델 일반화 및 신뢰성에 미치는 영향은 어떠한가?
• RQ5 다양한 표본 데이터셋과 머신러닝 모델에 대해, 모델에 특화된 적응이 필요 없이 프레임워크를 보편적으로 적용할 수 있는가?

주요 결과

• Data-IQ는 모델 변동성에 대해 가장 높은 안정성을 확보하였으며, 스피어만 상관관계 점수는 코로나(Covid) 0.93±0.07, 서포트(Support) 0.92±0.02, 프로스타트(Prostate) 0.97±0.01, 태반(Fetal) 0.86±0.06를 기록하여, Data Maps와 같은 기존 기준보다 뚜렷한 우수성을 보였다.
• 90% 이상의 데이터 예측이 다양한 모델 파arameter화 간에 동일한 하위군(Easy, Ambiguous, Hard)에 할당되었으며, 평균 오버랩 점수는 코로나 0.94±0.03, 서포트 0.91±0.01, 프로스타트 0.95±0.01, 태반 0.77±0.14였다.
• 훈련 에포크 동안 평균 가중치 상관관계는 0.1±0.02로 낮아, 가중치 상관관계가 낮고 동적 특성이 안정적임을 시사하며, 훈련 행동 분석의 신뢰성을 뒷받침한다.
• 데이터 가공 실험에서 균형 잡힌 데이터셋에서 최대 500개의 Ambiguous 샘플(100% 하위군)을 제거함으로써 성능 향상이 측정되었으며, 이는 실질적인 활용 가능성을 입증한다.
• Ambiguous 하위군은 모델 일반화에 상당한 영향을 미치며, 이를 식별함으로써 표적 데이터 수집과 모델 신뢰성 향상이 가능하다.
• 이 프레임워크는 다양한 모델 간 일관성 있고 원칙적인, 실천 가능한 데이터 특성화를 가능하게 하며, 높은 안정성과 낮은 모델 특화 의존도를 보였다.