[论文解读] It's easy to fool yourself: Case studies on identifying bias and confounding in bio-medical datasets

Subhashini Venugopalan, Arunachalam Narayanaswamy+11 more|arXiv (Cornell University)|Dec 12, 2019

Machine Learning and Data Classification参考文献 12被引用 6

一句话总结

本文研究了生物医学影像中的深度学习模型如何无意中从混杂变量（如实验批次、图像清晰度和细胞密度）中学习到虚假信号。通过脊髓性肌萎缩症（SMA）和肌萎缩侧索硬化症（ALS）数据集的案例研究，作者利用无监督聚类、模型可解释性（GradCAM）和性能分析识别出偏差，发现模型的高准确率并非源于检测疾病相关特征，而是利用了数据采集和处理中的技术伪影。

ABSTRACT

Confounding variables are a well known source of nuisance in biomedical studies. They present an even greater challenge when we combine them with black-box machine learning techniques that operate on raw data. This work presents two case studies. In one, we discovered biases arising from systematic errors in the data generation process. In the other, we found a spurious source of signal unrelated to the prediction task at hand. In both cases, our prediction models performed well but under careful examination hidden confounders and biases were revealed. These are cautionary tales on the limits of using machine learning techniques on raw data from scientific experiments.

研究动机与目标

• 调查生物医学影像数据集中混杂变量如何导致深度学习应用中的误导性模型性能。
• 识别由实验设计、图像采集和处理流程引起的高通量显微镜数据中的隐藏偏差。
• 评估无监督嵌入和模型可解释性技术在检测细胞图像分类中虚假信号的作用。
• 证明高模型准确率并非通过生物信号实现，而是通过聚焦质量梯度和孔板位置等系统性伪影实现。
• 倡导在生物医学发现的机器学习应用中，对模型行为和数据来源进行严格审查。

提出的方法

• 应用t-SNE可视化无监督CNN嵌入（基于ImageNet预训练的InceptionV4）的聚类情况，以检测是否按实验批次或孔板位置聚类。
• 使用预训练CNN评估图像聚焦质量，为每张位点图像分配一个0–1之间的排序概率得分。
• 训练监督模型，包括基于手工特征（如细胞密度、图像统计量）的逻辑回归模型以及完全监督的CNN，用于分类。
• 采用GradCAM生成显著性图，可视化CNN中的关注区域，判断模型是否聚焦于生物相关特征或伪影驱动的特征。
• 采用五折交叉验证，每折留出一个批次，以评估泛化能力并检测批次间的数据泄露。
• 分析各折之间的性能差异，检测对实验室来源或批次特异性因素的依赖性，特别是在零样本泛化设置下。

实验结果

研究问题

• RQ1 在细胞图像分析中，深度学习模型在多大程度上学习了实验批次或孔板位置等混杂变量，而非生物相关的疾病标志？
• RQ2 图像采集伪影（如96孔板中聚焦质量的梯度变化）在多大程度上影响模型性能和泛化能力？
• RQ3 CNN嵌入的无监督聚类在多大程度上能揭示标签分布中不明显的隐藏数据偏差？
• RQ4 手工特征（如细胞密度或图像统计量）在多大程度上解释了模型性能，且是否构成混杂因素？
• RQ5 模型可解释性技术（如GradCAM）在多大程度上能揭示生物医学数据中深度学习模型预测信号的真实来源？

主要发现

• 在SMA Main数据集中，模型在12个交叉验证折中均实现了高AUC性能，但表现最差的一折对应于健康与疾病细胞系来自同一实验室的情况，表明模型依赖于实验室特异性因素。
• 对CNN嵌入进行无监督t-SNE聚类在SMA和ALS数据集中均显示出按实验批次的强烈聚类，表明批次效应主导了特征空间。
• 在ALS数据集中，仅基于细胞密度的模型实现了与完全监督CNN相当的ROC AUC，表明细胞密度是主要的混杂信号。
• 部分依赖图确认细胞密度是关键混杂因素，模型的预测强烈受每张位点图像中细胞数量的影响。
• GradCAM显著性图显示，当分类TDPwt细胞系时，模型关注的是图像中的空白区域，表明其注意力集中于空间伪影而非细胞形态。
• 采用z-stack共聚焦成像方法相比单平面宽场成像显著提升了聚焦质量，解决了原始SMA Main数据集中图像层面的主要偏差来源。