[논문 리뷰] Analysing race and sex bias in brain age prediction

Carolina Piçarra, Ben Glocker|arXiv (Cornell University)|2023. 09. 19.

Fetal and Pediatric Neurological Disorders인용 수 5

한 줄 요약

이 연구는 주로 백인 및 남성 주로 구성된 데이터셋으로 훈련된 ResNet-34 뇌 연령 예측 모델에서 인종 및 성별 편향을 조사한다. UK Biobank 데이터(n=42,786)를 대상으로 크루스칼-월리스 검정과 콘로버-아이먼 사후 검정을 실시한 결과, 특히 흑인 및 남성 집단에서 절대 오차가 더 높은 통계적으로 유의미한 성능 차이가 발견되었으며, 하위군 간 모델 특성의 분포 이탈도 감지되었으며, 이는 인공지능 기반 신경영상 생물학적 지표에서 인구통계적 편향의 위험을 드러낸다.

ABSTRACT

Brain age prediction from MRI has become a popular imaging biomarker associated with a wide range of neuropathologies. The datasets used for training, however, are often skewed and imbalanced regarding demographics, potentially making brain age prediction models susceptible to bias. We analyse the commonly used ResNet-34 model by conducting a comprehensive subgroup performance analysis and feature inspection. The model is trained on 1,215 T1-weighted MRI scans from Cam-CAN and IXI, and tested on UK Biobank (n=42,786), split into six racial and biological sex subgroups. With the objective of comparing the performance between subgroups, measured by the absolute prediction error, we use a Kruskal-Wallis test followed by two post-hoc Conover-Iman tests to inspect bias across race and biological sex. To examine biases in the generated features, we use PCA for dimensionality reduction and employ two-sample Kolmogorov-Smirnov tests to identify distribution shifts among subgroups. Our results reveal statistically significant differences in predictive performance between Black and White, Black and Asian, and male and female subjects. Seven out of twelve pairwise comparisons show statistically significant differences in the feature distributions. Our findings call for further analysis of brain age prediction models.

연구 동기 및 목표

• 훈련 데이터에 인종 및 생물학적 성별 하위군 간 불균형이 존재할 경우 뇌 연령 예측 모델의 성능에 차이가 나타나는지 조사하기.
• 예를 들어 흑인 및 남성 집단의 부족한 표현이 훈련 데이터에 포함된 경우 모델의 일반화 능력과 예측 정확도에 어떤 영향을 미치는지 평가하기.
• 모델이 학습한 특성들이 인구통계 정보를 포함하고 있는지 확인하여 잠재적 편향 전파 여부를 분석하기.
• 신경영상 인공지능에서 하위군 성능 비교 및 특성 분포 분석을 위한 통계적 프레임워크 제공하기.
• 향후 뇌 연령 예측 모델의 임상적 공정성과 타당성을 확보하기 위해 체계적인 편향 평가를 촉구하기.

제안 방법

• Cam-CAN과 IXI의 1,215개의 T1-강도 MRI 스캔을 대상으로 3D ResNet-34 모델을 훈련하였으며, 무작위 반전, 대trast 조정, 노이즈 추가, 운동 아티팩트 포함 등의 데이터 증강 기법을 적용하였다.
• 주요 평가 지표로 절대 예측 오차를 사용하여 UK Biobank(n=42,786)에서 성능을 평가하였으며, 인종과 성별에 따라 6개의 하위군으로 분류하였다.
• 하위군 간 중앙값 절대 오차를 비교하기 위해 비모수적 크루스칼-월리스 검정을 적용한 후, 다중 비교 보정을 위한 벤자민-예쿠티엘리 보정을 적용한 콘로버-아이먼 사후 검정을 실시하였다.
• 학습된 표현의 고차원 패턴을 식별하기 위해 특성 활성도에 주성분 분석(PCA)을 적용하여 차원 감소를 수행하였다.
• 두 집단 간 특성 표현의 분포 이탈 여부를 탐지하기 위해 이중표본 콜모고로프-스미르노프 검정을 실시하였다.
• 분석에서 '기타' 인종 및 중국계 하위군은 제외하였으며, 중국계는 아시아계로 통합하였다. Cam-CAN과 IXI 데이터를 통합하여 훈련하였으며, 뇌골절리기, MNI 공간에 대한 정렬, 왜곡 필드 보정 등의 사전처리를 수행하였다.

Figure 1: Age distribution of all subjects in the test set and of each racial subgroup, separated by biological sex. Overlapping lines show the probability density curves.

실험 결과

연구 질문

• RQ1 인종 및 생물학적 성별 하위군 간 절대 예측 오차에 대해 뇌 연령 예측 모델에서 통계적으로 유의미한 차이가 존재하는가?
• RQ2 다른 인종 및 성별 하위군 간 모델이 학습한 특성의 분포에 눈에 띄는 이탈이 존재하는가? 이는 표현 학습에서 잠재적 편향을 시사하는가?
• RQ3 훈련 데이터의 인구통계적 불균형(예: 흑인 및 남성 집단의 부족한 표현)이 테스트 세트에서 성능 격차와 어느 정도 관련이 있는가?
• RQ4 연령 범위와 데이터 품질을 통제할 경우 모델의 성능 및 특성 분포가 하위군 간 어떻게 달라지는가?
• RQ5 크루스칼-월리스 검정과 콜모고로프-스미르노프 검정과 같은 통계적 방법이 신경영상 응용 분야의 딥러닝 모델에서 편향을 효과적으로 탐지할 수 있는가?

주요 결과

• 흑인과 백인 집단 간 절대 예측 오차에 통계적으로 유의미한 차이가 존재함(p < 0.0001), 흑인과 아시아계 간(p = 0.0065), 남성과 여성 간(p < 0.0001)에도 동일한 결과를 보였다.
• 인종과 성별 하위군 간 12개의 쌍방향 비교 중 7개에서 PCA 성분에 대한 콜모고로프-스미르노프 검정을 통해 분포 차이가 통계적으로 유의미함(p < 0.05).
• 흑인 및 남성 집단에서 평균 절대 오차가 더 높게 나타나, 이들 집단이 모델에 의해 체계적으로 불리하게 대우당하고 있음을 시사한다.
• 모델의 잠재 공간 내 특성 표현에서 하위군 간 눈에 띄는 분포 이탈이 관찰되었으며, 특히 제1 및 제2 주성분에서 두드러져 인구통계 정보가 특성에 포함되어 있음을 시사한다.
• 사후 검정 결과, 흑인 집단의 성능이 백인 및 아시아계 집단보다 유의미하게 열 劣함(p-value 각각 <0.0001 및 0.0065).
• 훈련 데이터의 연령 범위(18–88세)와 테스트 데이터의 연령 범위(44–82세) 간 불일치로 인해 모델의 전체 성능에 영향을 미쳤지만, 각 하위군 내에서 연령 분포가 유사하므로 하위군 간 비교는 여전히 의미가 있었다.

Figure 2: Age distribution of a random sample (n=126) from each racial subgroup, separated by biological sex. Overlapping lines show the probability density curves.