[논문 리뷰] Reading Race: AI Recognises Patient's Racial Identity In Medical Images

Imon Banerjee, Ananth Reddy Bhimireddy외 21명|arXiv (Cornell University)|2021. 07. 21.

Artificial Intelligence in Healthcare and Education참고 문헌 13인용 수 31

한 줄 요약

이 논문은 심층 학습 모델이 여러 모달리티의 의료 영상에서 환자의 자가 보고 인종을 예측할 수 있으며 외부 검증을 거쳤고, 방사선과 진료에서의 배포 위험을 제기한다.

ABSTRACT

Background: In medical imaging, prior studies have demonstrated disparate AI performance by race, yet there is no known correlation for race on medical imaging that would be obvious to the human expert interpreting the images. Methods: Using private and public datasets we evaluate: A) performance quantification of deep learning models to detect race from medical images, including the ability of these models to generalize to external environments and across multiple imaging modalities, B) assessment of possible confounding anatomic and phenotype population features, such as disease distribution and body habitus as predictors of race, and C) investigation into the underlying mechanism by which AI models can recognize race. Findings: Standard deep learning models can be trained to predict race from medical images with high performance across multiple imaging modalities. Our findings hold under external validation conditions, as well as when models are optimized to perform clinically motivated tasks. We demonstrate this detection is not due to trivial proxies or imaging-related surrogate covariates for race, such as underlying disease distribution. Finally, we show that performance persists over all anatomical regions and frequency spectrum of the images suggesting that mitigation efforts will be challenging and demand further study. Interpretation: We emphasize that model ability to predict self-reported race is itself not the issue of importance. However, our findings that AI can trivially predict self-reported race -- even from corrupted, cropped, and noised medical images -- in a setting where clinical experts cannot, creates an enormous risk for all model deployments in medical imaging: if an AI model secretly used its knowledge of self-reported race to misclassify all Black patients, radiologists would not be able to tell using the same data the model has access to.

연구 동기 및 목표

• 의료 영상에서 AI 성능의 인종 편향에 대한 조사를 촉진한다.
• 의료 영상에서 인종을 탐지하는 심층 학습 모델의 능력을 정량화한다.
• 외부 데이터셋과 영상 모달리티 간 일반화를 평가한다.
• 인종 탐지가 기인하는 해부학적 또는 표현형 특성에 의존하는지 조사한다.
• AI 모델이 인종을 인식하는 기제(메커니즘)를 탐구한다.

제안 방법

• 개인 및 공개 의료 영상 데이터셋에서 표준 심층 학습 모델을 학습시켜 인종을 예측한다.
• 다중 영상 모달리티와 외부 데이터셋에 걸쳐 성능을 평가한다.
• 질병 분포와 체형(body habitus)과 같은 교란 요인이 인종 예측 변수로 작용하는지 테스트한다.
• 임상적으로 동기 부여된 과제에 최적화되었을 때의 모델 성능을 평가한다.
• 자명한 대리 변수에 의한 것이 아닌 AI 모델이 인종을 인식하는 기제를 조사한다.
• 해부학적 영역과 주파수 스펙트럼에 걸쳐 손상되거나 잘리거나 노이즈가 있는 이미지에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 모달리티의 의료 영상에서 심층 학습 모델이 환자의 자가 보고 인종을 정확하게 예측할 수 있는가?
• RQ2 모델이 교육 데이터 외부의 환경으로 일반화되는가?
• RQ3 모델 예측이 인종 자체보다는 해부학적 또는 표현형의 혼란 요인에 의해 좌우되는가?
• RQ4 이미징 프록시를 넘어 AI가 의료 영상에서 인종을 인식하게 하는 기제는 무엇인가?
• RQ5 해부학적 영역 및 이미지 주파수 전반에 걸쳐 인종 탐지 능력이 얼마나 지속되는가?

주요 결과

• 표준 심층 학습 모델은 여러 영상 모달리티에 걸쳐 높은 성능으로 의료 영상에서 인종을 예측하도록 학습될 수 있다.
• 외부 검증 조건에서도, 그리고 임상적으로 동기 부여된 과제로 최적화했을 때도 결과가 유지된다.
• 탐지는 기저 질병 분포와 같은 자명한 대리 표변수나 영상 관련 대리 공변량 때문이 아니다.
• 모든 해부학적 영역과 이미지의 주파수 스펙트럼에 걸쳐 성능이 지속되어 완화가 어려울 것임을 시사한다.
• 이 연구는 중요한 배포 위험을 강조한다: 모델이 비밀리에 인종 정보를 사용한다면, 방사선과 의사는 동일한 데이터에서 이를 감지할 수 없다.