[논문 리뷰] Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations

Aaron S. Coyner, Praveer Singh외 6명|arXiv (Cornell University)|2021. 09. 28.

Retinal Imaging and Analysis참고 문헌 31인용 수 4

한 줄 요약

이 연구는 기존에 인종 정보가 없도록 여겨졌던 흑백 망막 혈관 세그먼테이션에서 딥러닝을 사용해 인공지능이 정확하게 인종 정체성을 예측할 수 있음을 보여준다. 색소와 밝기, 혈관 너비를 정규화한 후에도 컨volutional 신경망(CNN)은 거의 완벽한 인종 예측 성능(AUC-PR 최대 0.995)을 기록했으며, 이는 명시적인 색소적 신호가 제거된 후에도 인공지능 모델에 인종 편향이 지속될 수 있음을 시사한다.

ABSTRACT

Background: Artificial intelligence (AI) may demonstrate racial bias when skin or choroidal pigmentation is present in medical images. Recent studies have shown that convolutional neural networks (CNNs) can predict race from images that were not previously thought to contain race-specific features. We evaluate whether grayscale retinal vessel maps (RVMs) of patients screened for retinopathy of prematurity (ROP) contain race-specific features. Methods: 4095 retinal fundus images (RFIs) were collected from 245 Black and White infants. A U-Net generated RVMs from RFIs, which were subsequently thresholded, binarized, or skeletonized. To determine whether RVM differences between Black and White eyes were physiological, CNNs were trained to predict race from color RFIs, raw RVMs, and thresholded, binarized, or skeletonized RVMs. Area under the precision-recall curve (AUC-PR) was evaluated. Findings: CNNs predicted race from RFIs near perfectly (image-level AUC-PR: 0.999, subject-level AUC-PR: 1.000). Raw RVMs were almost as informative as color RFIs (image-level AUC-PR: 0.938, subject-level AUC-PR: 0.995). Ultimately, CNNs were able to detect whether RFIs or RVMs were from Black or White babies, regardless of whether images contained color, vessel segmentation brightness differences were nullified, or vessel segmentation widths were normalized. Interpretation: AI can detect race from grayscale RVMs that were not thought to contain racial information. Two potential explanations for these findings are that: retinal vessels physiologically differ between Black and White babies or the U-Net segments the retinal vasculature differently for various fundus pigmentations. Either way, the implications remain the same: AI algorithms have potential to demonstrate racial bias in practice, even when preliminary attempts to remove such information from the underlying images appear to be successful.

연구 동기 및 목표

• 회색조 망막 혈관 지도(RVMs)가 시각적 검사로는 드러나지 않는 잔여 인종 정보를 포함하고 있는지 조사하기 위해.
• 밝기, 너비, 세그먼테이션 차이를 정규화한 후에도 AI 모델이 RVMs에서 인종을 탐지할 수 있는지 평가하기 위해.
• 망막 혈관의 생리적 차이 또는 세그먼테이션 아티팩트가 RVMs에서 인종 예측에 기여하는지 평가하기 위해.
• 이미지가 명백한 인종적 특징을 제거하도록 사전 처리된 후에도 인공지능 기반 의료 진단에서 인종 편향의 위험을 부각하기 위해.
• 색소 및 색상 특징를 제거하기 위해 노력한 후에도 RVMs에서 인종 정체성을 예측할 수 있는지 입증하기 위해.

제안 방법

• 245명의 흑인 및 백인 유아의 망막 후면도 영상(RFIs)을 수집하여 총 4,095장의 영상을 확보하였다.
• U-Net 모델을 사용해 RFIs에서 망막 혈관 지도(RVMs)를 생성한 후, 임계값 설정, 이진화, 스켈레톤화를 통해 여러 종류의 RVM 변형을 생성하였다.
• 컨volutional 신경망(CNN)을 사용해 색상 RFIs, 원본 RVMs, 처리된 RVMs(임계값 설정, 이진화, 스켈레톤화)를 기반으로 인종을 분류하도록 학습시켰다.
• 성능 평가에는 영상 수준 및 환자 수준에서의 정밀도-재현율 곡선 아래 면적(AUC-PR)을 사용하였다.
• 내성 테스트를 위해, 모델 학습 이전에 그룹 간 밝기 차이와 혈관 너비 변동성을 정규화하였다.
• 다양한 영상 유형 간 모델 성능을 비교하여, 인종 예측이 잔여 색소적 특징이 아닌 혈관 패턴의 구조적 차이에 기반하는지를 규명하고자 하였다.

실험 결과

연구 질문

• RQ1 AI 모델이 이전에는 인종 정보를 포함하지 않는다고 여겨졌던 회색조 망막 혈관 지도에서 정확하게 인종 정체성을 예측할 수 있는가?
• RQ2 잔여된 망막 혈관 형태의 차이 또는 세그먼테이션 아티팩트가 RVMs에서 인종 예측에 어느 정도 기여하는가?
• RQ3 RVMs에서 밝기와 혈관 너비를 정규화하면 AI가 인종을 예측하는 능력이 사라지는가?
• RQ4 관찰된 인종 예측 능력은 흑인과 백인 유아 간 망막 혈관의 생리적 차이 때문인가, 아니면 세그먼테이션 과정에서 발생하는 모델 편향 때문인가?
• RQ5 색소 및 색상 특징를 제거하기 위해 사전 처리된 이미지에서 AI가 인종을 탐지할 수 있는가?

주요 결과

• CNN은 원본 색상 망막 후면도 영상에서 거의 완벽한 인종 예측 성능을 기록했으며, 영상 수준 AUC-PR은 0.999, 환자 수준 AUC-PR은 1.000을 기록하였다.
• 원본 망막 혈관 지도(RVMs)만으로도 높은 정확도로 인종 예측이 가능했으며, 영상 수준 AUC-PR은 0.938, 환자 수준 AUC-PR은 0.995를 기록하였다.
• 혈관 밝기와 너비를 정규화한 후에도 CNN의 성능이 유의미하게 유지되어, 인종 예측이 이러한 시각적 신호에 의존하지 않음을 시사하였다.
• 모든 RVM 변형—임계값 설정, 이진화, 스켈레톤화—에서 인종 예측 능력이 유지되어 전처리에 대한 강건성을 입증하였다.
• 연구 결과는 망막 혈관의 생리적 차이 또는 망막 색소 침착과 관련된 세그먼테이션 아티팩트가 RVMs에서 인종 탐지에 기여할 수 있음을 시사한다.
• 이 연구는 이미지가 명백한 인종적 특징을 제거하도록 처리된 후에도 AI 모델이 인종 편향을 유전할 수 있음을 드러내며, 임상적 AI 적용에 있어 심각한 위험을 제기한다.