[论文解读] Data-IQ: Characterizing subgroups with heterogeneous outcomes in tabular data

Nabeel Seedat, Jonathan Crabbé+2 more|arXiv (Cornell University)|Oct 24, 2022

Machine Learning in Healthcare被引用 6

一句话总结

Data-IQ 提出了一种框架，通过在模型训练过程中基于预测置信度和随机不确定性，系统性地将表格数据划分为三个子组——易、模糊和难。该框架实现了跨多种模型架构的稳健、模型无关的数据质量洞察，提升了数据质量分析、特征获取和模型部署的一致性。

ABSTRACT

High model performance, on average, can hide that models may systematically underperform on subgroups of the data. We consider the tabular setting, which surfaces the unique issue of outcome heterogeneity - this is prevalent in areas such as healthcare, where patients with similar features can have different outcomes, thus making reliable predictions challenging. To tackle this, we propose Data-IQ, a framework to systematically stratify examples into subgroups with respect to their outcomes. We do this by analyzing the behavior of individual examples during training, based on their predictive confidence and, importantly, the aleatoric (data) uncertainty. Capturing the aleatoric uncertainty permits a principled characterization and then subsequent stratification of data examples into three distinct subgroups (Easy, Ambiguous, Hard). We experimentally demonstrate the benefits of Data-IQ on four real-world medical datasets. We show that Data-IQ's characterization of examples is most robust to variation across similarly performant (yet different) models, compared to baselines. Since Data-IQ can be used with any ML model (including neural networks, gradient boosting etc.), this property ensures consistency of data characterization, while allowing flexible model selection. Taking this a step further, we demonstrate that the subgroups enable us to construct new approaches to both feature acquisition and dataset selection. Furthermore, we highlight how the subgroups can inform reliable model usage, noting the significant impact of the Ambiguous subgroup on model generalization.

研究动机与目标

• 解决表格数据中的结果异质性问题，即相似特征产生不同结果，特别是在医疗保健和金融领域。
• 开发一种系统性、模型无关的方法，识别具有异质性结果的子组，且在不同模型架构下具有鲁棒性。
• 通过基于训练动态对数据样本进行表征，为数据收集、数据集选择和可靠模型部署提供可操作的洞察。
• 确保在模型超参数或架构变化的情况下，子组表征保持一致，从而增强对模型性能评估的信任。

提出的方法

• 通过分析训练过程中模型检查点的个体样本行为，利用模型训练动态。
• 使用预测置信度和随机（数据）不确定性，将每个样本分类为以下三类子组之一：易（高置信度，正确预测）、模糊（低置信度，特征不足）或难（高置信度，错误预测）。
• 采用一种严谨的不确定性估计方法，捕捉数据层面的固有变异性，从而实现可靠的子组分层。
• 通过分析中间模型状态，支持任何分阶段训练的机器学习模型（如神经网络、梯度提升）。
• 使用斯皮尔曼等级相关系数和重叠度量评估不同模型参数化和架构下子组分配的鲁棒性。
• 通过识别高影响力子组（如模糊样本）支持下游应用，如数据雕琢、特征获取和数据集选择。

实验结果

研究问题

• RQ1 能否开发一种框架，系统性地识别并基于表格数据中的结果异质性对数据样本进行分组，且独立于模型架构？
• RQ2 在性能相似但架构或超参数不同的模型之间，数据样本的子组表征有多稳健？
• RQ3 子组识别在多大程度上能为实际的数据质量改进（如针对性特征获取或数据集选择）提供支持？
• RQ4 模糊子组在真实世界部署中对模型泛化能力和可靠性有何影响？
• RQ5 该框架是否能普遍应用于多样化的表格数据集和机器学习模型，而无需进行模型特定的调整？

主要发现

• Data-IQ 在模型变化下的鲁棒性最高，斯皮尔曼相关系数分别为：Covid 0.93±0.07，Support 0.92±0.02，Prostate 0.97±0.01，Fetal 0.86±0.06，显著优于基线方法如 Data Maps。
• 超过 90% 的数据样本在不同模型参数化下被一致分配到同一子组（易、模糊或难），平均重叠度为：Covid 0.94±0.03，Support 0.91±0.01，Prostate 0.95±0.01，Fetal 0.77±0.14。
• 训练周期内平均权重相关系数为 0.1±0.02，表明权重相关性低且动态稳定，支持训练行为分析的可靠性。
• 在数据雕琢实验中，从平衡数据集中移除最多 500 个模糊样本（100% 的子组）可带来可测量的性能提升，证明了其可操作性。
• 模糊子组对模型泛化有显著影响，其识别可支持针对性的数据收集并提升模型可靠性。
• 该框架实现了在多样化模型间一致、有原则且可操作的数据表征，具有强稳定性且对模型特定选择的敏感度低。