[论文解读] Analysing race and sex bias in brain age prediction

Carolina Piçarra, Ben Glocker|arXiv (Cornell University)|Sep 19, 2023

Fetal and Pediatric Neurological Disorders被引用 5

一句话总结

本研究调查了在以白人和男性为主的数据集上训练的ResNet-34脑年龄预测模型中的种族与性别偏差。基于UK Biobank数据（n=42,786），采用Kruskal-Wallis检验与Conover-Iman事后检验，发现性能存在显著统计差异——尤其在黑人和男性受试者中绝对误差更高，且模型特征在不同子群间存在可检测到的分布偏移，凸显了人工智能驱动的神经影像生物标志物中存在人口统计偏差的风险。

ABSTRACT

Brain age prediction from MRI has become a popular imaging biomarker associated with a wide range of neuropathologies. The datasets used for training, however, are often skewed and imbalanced regarding demographics, potentially making brain age prediction models susceptible to bias. We analyse the commonly used ResNet-34 model by conducting a comprehensive subgroup performance analysis and feature inspection. The model is trained on 1,215 T1-weighted MRI scans from Cam-CAN and IXI, and tested on UK Biobank (n=42,786), split into six racial and biological sex subgroups. With the objective of comparing the performance between subgroups, measured by the absolute prediction error, we use a Kruskal-Wallis test followed by two post-hoc Conover-Iman tests to inspect bias across race and biological sex. To examine biases in the generated features, we use PCA for dimensionality reduction and employ two-sample Kolmogorov-Smirnov tests to identify distribution shifts among subgroups. Our results reveal statistically significant differences in predictive performance between Black and White, Black and Asian, and male and female subjects. Seven out of twelve pairwise comparisons show statistically significant differences in the feature distributions. Our findings call for further analysis of brain age prediction models.

研究动机与目标

• 调查在数据集不平衡情况下训练的脑年龄预测模型是否在不同种族和生物性别子群中表现出性能差异。
• 评估训练数据中的人口统计不平衡（例如，黑人和男性受试者代表性不足）对模型泛化能力和预测准确率的影响。
• 检查模型中学习到的特征是否编码了人口统计信息，以判断潜在的偏差传播。
• 为神经影像人工智能中的子群性能比较与特征分布分析提供统计框架。
• 倡导在未来脑年龄预测模型中系统性地评估偏差，以确保临床公平性与有效性。

提出的方法

• 在Cam-CAN和IXI的1,215例T1加权MRI扫描上训练3D ResNet-34模型，采用数据增强技术，包括随机翻转、对比度调整、噪声添加和运动伪影模拟。
• 使用绝对预测误差作为主要指标，在UK Biobank（n=42,786）上评估模型性能，并按种族和性别划分为六个子群。
• 应用非参数Kruskal-Wallis检验比较各子群之间的中位数绝对误差，随后采用Benjamini-Yekutieli校正进行多重比较的Conover-Iman事后检验。
• 使用主成分分析（PCA）对特征激活进行降维，以识别学习表征中的高层次模式。
• 对子群对之间执行两样本Kolmogorov-Smirnov检验，以检测特征表征中是否存在显著的分布偏移。
• 将“其他”种族类别与“中国”子群从分析中排除，将“中国”合并至“亚洲”类别；对Cam-CAN与IXI数据进行合并训练，预处理包括头骨剥离、标准化至MNI空间以及偏置场校正。

Figure 1: Age distribution of all subjects in the test set and of each racial subgroup, separated by biological sex. Overlapping lines show the probability density curves.

实验结果

研究问题

• RQ1 脑年龄预测模型在不同种族和生物性别子群之间是否存在绝对预测误差的显著统计差异？
• RQ2 模型学习到的特征在不同种族和性别子群之间是否存在可检测到的分布偏移，表明表示学习中存在潜在偏差？
• RQ3 训练数据中的人口统计不平衡（例如，黑人和男性受试者代表性不足）与测试集中性能差异的相关程度如何？
• RQ4 在控制年龄范围和数据质量后，模型的性能与特征分布在不同子群之间如何变化？
• RQ5 Kruskal-Wallis检验与Kolmogorov-Smirnov检验等统计方法是否能有效检测深度学习模型在神经影像应用中的偏差？

主要发现

• 模型在黑人与白人受试者之间（p < 0.0001）、黑人与亚洲受试者之间（p = 0.0065）以及男性与女性受试者之间（p < 0.0001）的绝对预测误差存在显著统计差异。
• 在种族与性别子群的12对比较中，有7对通过PCA成分上的Kolmogorov-Smirnov检验显示出特征分布的显著差异（p < 0.05）。
• 黑人和男性受试者的平均绝对误差更高，表明这些群体在模型中系统性处于不利地位。
• 模型潜在空间中的特征表征在子群之间显示出可检测到的分布偏移，尤其在第一和第二主成分中表现明显，表明人口统计信息已被编码至特征中。
• 与白人和亚洲受试者相比，模型在黑人受试者中的表现显著更差，事后检验的p值分别为<0.0001和0.0065。
• 尽管模型整体性能受到训练集（18–88岁）与测试集（44–82岁）之间年龄范围不匹配的影响，但由于各子群内部年龄分布相似，子群比较结果仍具意义。

Figure 2: Age distribution of a random sample (n=126) from each racial subgroup, separated by biological sex. Overlapping lines show the probability density curves.