[论文解读] Learning Disease vs Participant Signatures: a permutation test approach to detect identity confounding in machine learning diagnostic applications

Elias Chaibub Neto, Abhishek Pratap+7 more|arXiv (Cornell University)|Dec 8, 2017

Imbalanced Data Classification Techniques参考文献 9被引用 7

一句话总结

本文提出置换检验方法，以检测机器学习诊断应用中的身份混淆问题，即分类器可能学习到个体特异性特征而非疾病模式。通过比较记录级与个体级数据划分下的性能表现，该方法可识别预测准确率是否由个体识别而非疾病识别驱动。结果表明，在语音数据中存在强烈的证据表明存在身份混淆，支持采用个体级划分作为最佳实践。

ABSTRACT

Recently, Saeb et al (2017) showed that, in diagnostic machine learning applications, having data of each subject randomly assigned to both training and test sets (record-wise data split) can lead to massive underestimation of the cross-validation prediction error, due to the presence of "subject identity confounding" caused by the classifier's ability to identify subjects, instead of recognizing disease. To solve this problem, the authors recommended the random assignment of the data of each subject to either the training or the test set (subject-wise data split). The adoption of subject-wise split has been criticized in Little et al (2017), on the basis that it can violate assumptions required by cross-validation to consistently estimate generalization error. In particular, adopting subject-wise splitting in heterogeneous data-sets might lead to model under-fitting and larger classification errors. Hence, Little et al argue that perhaps the overestimation of prediction errors with subject-wise cross-validation, rather than underestimation with record-wise cross-validation, is the reason for the discrepancies between prediction error estimates generated by the two splitting strategies. In order to shed light on this controversy, we focus on simpler classification performance metrics and develop permutation tests that can detect identity confounding. By focusing on permutation tests, we are able to evaluate the merits of record-wise and subject-wise data splits under more general statistical dependencies and distributional structures of the data, including situations where cross-validation breaks down. We illustrate the application of our tests using synthetic and real data from a Parkinson's disease study.

研究动机与目标

• 解决在疾病诊断的机器学习中，记录级与个体级数据划分方式之间的争议。
• 开发一种统计方法，以检测分类性能是否由个体身份而非疾病状态驱动。
• 评估记录级与个体级交叉验证结果之间的差异，是由身份混淆还是模型欠拟合所导致。
• 提供一种实用且基于实证的方法，以验证数字健康应用中数据划分策略的有效性。

提出的方法

• 提出置换检验，以评估分类器性能是否依赖于个体身份而非疾病状态。
• 采用个体级与记录级数据划分，比较在不同假设下的分类性能。
• 应用置换检验，对疾病标签进行随机置换，同时保留个体身份，评估性能是否显著下降。
• 在置换检验中使用AUC和准确率作为性能度量，以检测身份混淆。
• 将该方法应用于模拟数据和真实mPower研究数据（语音与敲击特征），以验证结果。
• 证明个体级划分可降低身份混淆并提升泛化能力，尤其在个体数量充足时效果更显著。

实验结果

研究问题

• RQ1 在记录级数据划分下，分类器性能是否反映真实的疾病识别能力，还是受个体身份的混淆影响？
• RQ2 置换检验能否可靠检测在纵向数字健康数据上训练的机器学习模型中的身份混淆？
• RQ3 记录级与个体级交叉验证结果之间的差异，是由身份混淆还是模型欠拟合导致？
• RQ4 个体数量如何影响在个体级划分下分类器的泛化能力？
• RQ5 某些数据模态（如语音与敲击）是否比其他模态更容易受到身份混淆的影响？

主要发现

• 置换检验揭示了在使用记录级划分训练的语音分类器中存在强烈的证据表明存在身份混淆，即使疾病标签被随机置换后依然如此。
• 仅当训练集中包含超过100名个体时，语音数据在记录级划分下才表现出更高的AUC值，表明疾病信号的检测存在延迟。
• 基于敲击的分类器在个体级划分下表现出更少的身份混淆和更好的泛化能力，表明其特征表示更具鲁棒性。
• 在个体级划分中观察到模型欠拟合现象，但可通过增加训练集中的个体数量加以缓解。
• 本研究未发现支持“模型欠拟合本身可完全解释不同数据划分策略间性能差距”的假设。
• 语音特征更容易受到身份混淆的影响，可能由于对非生物性干扰（如背景噪声和麦克风距离）更为敏感。