[논문 리뷰] Risk of Bias in Chest Radiography Deep Learning Foundation Models

Ben Glocker, Charles Jones외 2명|arXiv (Cornell University)|2022. 09. 07.

COVID-19 diagnosis using AI참고 문헌 33인용 수 4

한 줄 요약

이 연구는 체크엑스퍼트 데이터셋(n=127,118장의 스캔)을 사용하여 생물학적 성별과 인종에 따른 편향을 평가하기 위해 흉부 레이저 영상용 딥러닝 기초 모델을 평가한다. 특히 '정상 소견 없음'에 대한 여성의 정확도와 '흉막 출혈'에 대한 흑인 환자의 정확도에서 뚜렷한 성능 격차를 확인하여 임상적 안전성과 공정성에 악영향을 미치는 체계적 편향이 있음을 시사한다.

ABSTRACT

Purpose: To analyze a recently published chest radiography foundation model for the presence of biases that could lead to subgroup performance disparities across biological sex and race. Materials and Methods: This retrospective study used 127,118 chest radiographs from 42,884 patients (mean age, 63 [SD] 17 years; 23,623 male, 19,261 female) from the CheXpert dataset collected between October 2002 and July 2017. To determine the presence of bias in features generated by a chest radiography foundation model and baseline deep learning model, dimensionality reduction methods together with two-sample Kolmogorov-Smirnov tests were used to detect distribution shifts across sex and race. A comprehensive disease detection performance analysis was then performed to associate any biases in the features to specific disparities in classification performance across patient subgroups. Results: Ten out of twelve pairwise comparisons across biological sex and race showed statistically significant differences in the studied foundation model, compared with four significant tests in the baseline model. Significant differences were found between male and female (P < .001) and Asian and Black patients (P < .001) in the feature projections that primarily capture disease. Compared with average model performance across all subgroups, classification performance on the 'no finding' label dropped between 6.8% and 7.8% for female patients, and performance in detecting 'pleural effusion' dropped between 10.7% and 11.6% for Black patients. Conclusion: The studied chest radiography foundation model demonstrated racial and sex-related bias leading to disparate performance across patient subgroups and may be unsafe for clinical applications.

연구 동기 및 목표

• 흉부 레이저 영상 기초 모델이 생물학적 성별과 인종에 따라 편향을 보이는지 조사하기 위해.
• 모델의 특징 분포가 하위군 간에 유의미하게 다름을 나타내는지 평가하기 위해.
• 이러한 편향이 질병 분류 성능 격차로 이어지는지 평가하기 위해.
• 기초 모델과 기준 기반 딥러닝 모델 간의 편향 수준을 비교하기 위해.
• 관찰된 성능 격차가 실세계 AI 응용에서 임상적 안전성에 어떤 영향을 미치는지 파악하기 위해.

제안 방법

• 2002~2017년 기간 동안 수집된 체크엑스퍼트 데이터셋의 127,118건의 흉부 레이저 영상에 대한 후향적 분석으로 성별 및 인종에 대한 민감도 레이블을 포함한다.
• 차원 축소 기법을 적용하여 성별 및 인종 하위군 간의 특징 표현을 추출하고 비교한다.
• 두 표본 콜모고로프-스미르노프 검정을 사용하여 모델이 학습한 특징의 분포 변화가 하위군 간에 통계적으로 유의미한지 확인한다.
• 기초 모델의 주요 진단 레이블(예: '정상 소견 없음', '흉막 출혈')에 대한 성능을 성별 및 인종 하위군 간에 평가한다.
• 기초 모델과 기준 기반 딥러닝 모델 간의 편향 지표 및 성능 격차를 비교한다.
• 성능 격차를 정량적으로 분석하여 성능이 열등한 하위군에서의 정확도 절대 감소율을 중심으로 분석한다.

실험 결과

연구 질문

• RQ1 기초 모델에서 남성과 여성 환자 간의 특징 분포에 통계적으로 유의미한 차이가 있는가?
• RQ2 인종 하위군(예: 아시아계 대 흑인) 간에 모델의 잠재 공간 내 특징 표현이 다름을 보이는가?
• RQ3 기초 모델이 성별 및 인종 하위군 간의 질병 분류 성능에 유의미한 격차를 보이는가?
• RQ4 기초 모델의 편향 수준은 기준 기반 딥러닝 모델과 비교해 어떻게 다른가?
• RQ5 관찰된 특징 수준의 편향이 임상적으로 중요한 성능 격차와 얼마나 관련이 있는가?

주요 결과

• 성별 및 인종 간 12개의 쌍별 비교 중 10개에서 기초 모델의 특징에서 통계적으로 유의미한 분포 이탈이 발견되었으며, 기준 모델의 경우 4개에 그쳤다.
• 남성과 여성 환자 간(p < .001), 아시아계와 흑인 환자 간(p < .001)에 대해 질병 관련 패턴을 반영하는 특징 투영에서 유의미한 차이가 발견되었다.
• 여성 환자에서는 '정상 소견 없음' 레이블에 대한 분류 성능이 모든 하위군 평균 대비 6.8%에서 7.8% 감소하였다.
• 흑인 환자에서는 '흉막 출혈' 검출 성능이 전체 평균 대비 10.7%에서 11.6% 감소하였다.
• 기초 모델은 임상적으로 의미 있는 격차를 보였으며, 학습된 특징의 편향이 실제 성능 격차로 이어짐을 시사하였다.
• 연구는 이러한 인종 및 성별 관련 성능 격차로 인해 모델의 임상적 배포가 안전하지 않다고 결론 내렸다.