[논문 리뷰] Addressing Artificial Intelligence Bias in Retinal Disease Diagnostics

Philippe Burlina, Neil Joshi외 3명|arXiv (Cornell University)|2020. 04. 28.

Retinal Imaging and Analysis참고 문헌 22인용 수 11

한 줄 요약

이 연구는 데이터 불균형과 도메인 전이로 인한 AI 편향을 완화하기 위해, 특히 어두은 피부를 가진 사람과 전염성 망막병변이 있는 사람들을 포함한 소수자 그룹을 위한 합성 망막 영상 생성을 위해 생성적 적대 기반 네트워크(GANs)를 사용하는 것을 제안한다. 이 방법은 밝은 피부와 어두운 피부를 가진 사람 간의 성능 격차를 12.5%에서 단지 0.5%로 줄였으며, 그룹 간 정확도가 거의 동일한 72.0% 대비 71.5%를 달성하였다.

ABSTRACT

This study evaluated generative methods to potentially mitigate AI bias when diagnosing diabetic retinopathy (DR) resulting from training data imbalance, or domain generalization which occurs when deep learning systems (DLS) face concepts at test/inference time they were not initially trained on. The public domain Kaggle-EyePACS dataset (88,692 fundi and 44,346 individuals, originally diverse for ethnicity) was modified by adding clinician-annotated labels and constructing an artificial scenario of data imbalance and domain generalization by disallowing training (but not testing) exemplars for images of retinas with DR warranting referral (DR-referable) and from darker-skin individuals, who presumably have greater concentration of melanin within uveal melanocytes, on average, contributing to retinal image pigmentation. A traditional/baseline diagnostic DLS was compared against new DLSs that would use training data augmented via generative models for debiasing. Accuracy (95% confidence intervals [CI]) of the baseline diagnostics DLS for fundus images of lighter-skin individuals was 73.0% (66.9%, 79.2%) vs. darker-skin of 60.5% (53.5%, 67.3%), demonstrating bias/disparity (delta=12.5%) (Welch t-test t=2.670, P=.008) in AI performance across protected subpopulations. Using novel generative methods for addressing missing subpopulation training data (DR-referable darker-skin) achieved instead accuracy, for lighter-skin, of 72.0% (65.8%, 78.2%), and for darker-skin, of 71.5% (65.2%,77.8%), demonstrating closer parity (delta=0.5%) in accuracy across subpopulations (Welch t-test t=0.111, P=.912). Findings illustrate how data imbalance and domain generalization can lead to disparity of accuracy across subpopulations, and show that novel generative methods of synthetic fundus images may play a role for debiasing AI.

연구 동기 및 목표

• 데이터 불균형과 도메인 일반화가 망막 질환 진단에서 AI 편향에 기여하는 방식을 조사하기 위해.
• 생성적 데이터 증강이 어두은 피부를 가진 개인과 같은 보호받는 하위집단 간의 성능 격차를 완화할 수 있는지 평가하기 위해.
• 합성 데이터 생성이 밝은 피부와 어두운 피부를 가진 사람 간의 당뇨병성 망막병변 탐지 정확도 격차를 해소할 수 있음을 입증하기 위해.
• 훈련 데이터에 잘 표현되지 않은 하위집단에 대해 테스트할 때 도메인 전이가 AI 모델 성능에 미치는 영향을 평가하기 위해.
• 부족한 자료를 가진 집단을 위한 합성 데이터를 사용해 의료 영상 AI의 편향 제거 프레임워크를 제공하기 위해.

제안 방법

• 연구진은 공개된 Kaggle-EyePACS 데이터셋을 수정하여 어두은 피부를 가진 사람들의 DR-참고 가능한 케이스 훈련 예제를 제거함으로써 데이터 불균형과 도메인 전이를 시뮬레이션하였다.
• 그들은 피부 색소에 따라 성능 벤치마크를 설정하기 위해 불균형한 데이터셋으로 기초적인 딥 러닝 시스템(DLS)을 훈련시켰다.
• 어두은 피부를 가진 사람들의 DR-참고 가능한 케이스에 대한 현실적인 망막 영상 생성을 위해 새로운 생성 모델(GAN 기반)을 훈련시켰다.
• 합성 영상가 훈련 데이터에 통합하여 두 번째 DLS를 훈련시켰고, 공정성과 정확도를 평가하였다.
• 피부 색소 하위집단 간 정확도와 95% 신뢰구간을 사용해 기초 모델과 증강 모델 간 성능을 비교하였다.
• 성능 격차의 통계적 유의성을 Welch의 t-검정을 통해 평가하였다.

실험 결과

연구 질문

• RQ1 피부 색소 간의 데이터 불균형이 AI 기반 당뇨병성 망막병변 진단에서 성능 격차를 얼마나 유도하는가?
• RQ2 생성 모델이 부족한 자료를 가진 하위집단을 위한 현실적인 망막 영상을 효과적으로 생성할 수 있는가?
• RQ3 합성 데이터 증강이 밝은 피부와 어두은 피부를 가진 사람 간의 진단 정확도 공정성에 향상 효과를 줄 수 있는가?
• RQ4 훈련 데이터에 잘 표현되지 않은 하위집단에 대해 테스트할 때 도메인 일반화가 AI 모델 성능에 어떤 영향을 미치는가?
• RQ5 생성 방법이 망막 질환 진단에서 하위집단 간 정확도 격차를 메울 수 있는가?

주요 결과

• 기초 DLS는 밝은 피부(73.0%)와 어두운 피부(60.5%)를 가진 사람 간에 12.5%의 정확도 격차를 보였으며, 통계적으로 유의미한 결과(P = .008)를 보였다.
• 어두운 피부를 가진 사람들의 DR-참고 가능한 케이스에 대해 생성적 데이터 증강을 적용한 후, 정확도 격차는 단지 0.5%로 줄었으며(밝은 피부 72.0% 대비 어두운 피부 71.5%),
• Welch t-검정은 증강 후 하위집단 간 성능 격차가 유의미하지 않음을 확인하였으며(P = .912), 이는 거의 동등한 성능을 의미한다.
• 생성 모델은 두 그룹 모두 높은 진단 정확도를 유지하였고, 하위집단 간 95% 신뢰구간이 겹치는 것을 확인하였다.
• 결과적으로 합성 데이터 생성이 망막 진단에서 데이터 불균형과 도메인 전이로 인한 편향을 효과적으로 해결할 수 있음을 입증하였다.
• 이 연구는 생성 모델이 의료 AI 적용 분야에서 실질적인 편향 제거 전략이 될 수 있음을 경험적 증거로 제시한다.