[논문 리뷰] MEDFAIR: Benchmarking Fairness for Medical Imaging

Yongshuo Zong, Yongxin Yang외 1명|arXiv (Cornell University)|2022. 10. 04.

Artificial Intelligence in Healthcare and Education인용 수 15

한 줄 요약

MEDFAIR는 의료 영상 AI의 공정성 평가를 위한 종합적인 벤치마크 프레임워크를 도입하며, 내분포 및 외분포 설정에서 11개 알고리즘, 10개 데이터셋, 3개의 모델 선택 기준을 표준화한다. 이는 모델 선택 전략이 공정성 결과에 상당한 영향을 미치며, 최첨단 탈편향 방법이 항상 경험적 리스크 최소화(ERM)를 능가하지는 않음을 드러내어 공정성에서의 알고리즘 우월성에 대한 기존 가정을 도전한다.

ABSTRACT

A multitude of work has shown that machine learning-based medical diagnosis systems can be biased against certain subgroups of people. This has motivated a growing number of bias mitigation algorithms that aim to address fairness issues in machine learning. However, it is difficult to compare their effectiveness in medical imaging for two reasons. First, there is little consensus on the criteria to assess fairness. Second, existing bias mitigation algorithms are developed under different settings, e.g., datasets, model selection strategies, backbones, and fairness metrics, making a direct comparison and evaluation based on existing results impossible. In this work, we introduce MEDFAIR, a framework to benchmark the fairness of machine learning models for medical imaging. MEDFAIR covers eleven algorithms from various categories, nine datasets from different imaging modalities, and three model selection criteria. Through extensive experiments, we find that the under-studied issue of model selection criterion can have a significant impact on fairness outcomes; while in contrast, state-of-the-art bias mitigation algorithms do not significantly improve fairness outcomes over empirical risk minimization (ERM) in both in-distribution and out-of-distribution settings. We evaluate fairness from various perspectives and make recommendations for different medical application scenarios that require different ethical principles. Our framework provides a reproducible and easy-to-use entry point for the development and evaluation of future bias mitigation algorithms in deep learning. Code is available at https://github.com/ys-zong/MEDFAIR.

연구 동기 및 목표

• 일관되지 않은 메트릭, 데이터셋, 실험 설계로 인해 의료 영상 AI의 공정성 평가에 표준화된 평가가 부족한 문제를 해결하기 위해.
• 조기 정지 및 하이퍼파rameter 튜닝과 같은 모델 선택 기준이 공정성 결과에 미치는 영향을 특정하고 정량화하기 위해.
• 다양한 의료 영상 데이터셋과 민감한 특성(인종, 성별, 연령, 교차적 그룹)에서 11개의 공정성 알고리즘의 효과성을 평가하기 위해.
• 실제 운영 환경의 도전 과제를 반영하기 위해 내분포 및 외분포 설정 모두에서 공정성을 평가하기 위해.
• 윤리 원칙과 적용 분야의 특수성에 기반한 의료 AI의 공정성 향상을 위한 실질적인 권고 사항을 제공하기 위해.

제안 방법

• 11개의 공정성 알고리즘, 10개의 의료 영상 데이터셋, 3개의 모델 선택 전략을 표준화하는 통합 벤치마크 프레임워크(MEDFAIR)를 설계한다.
• 인종, 성별, 연령을 포함한 민감한 특성에서 그룹 공정성(예: 정확도 격차), 개인 공정성, 반사적 공정성을 포함한 다수의 공정성 메트릭을 적용한다.
• 조기 정지(검증 손실 기반), 검증 세트에서의 정확도, 공정성 인식 기준을 포함한 3가지 모델 선택 기준을 구현하여 그 영향을 고립한다.
• 내분포(동일 도메인) 및 외분포(도메인 이동) 설정에서 실험하여 복원력 테스트를 수행한다.
• X-레이, CT, MRI, 피부내시경 등 다양한 영상 모odalities를 구현하여 광범위한 적용 가능성을 확보한다.
• 표준화된 데이터 전처리, 모델 백본(예: ResNet), 훈련 프로토콜을 통해 알고리즘 간 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 조기 정지, 하이퍼파rameter 튜닝 등과 같은 모델 선택 전략의 선택이 의료 영상 모델의 공정성 결과에 어떻게 영향을 미치는가?
• RQ2 최첨단 공정성 알고리즘이 다양한 데이터셋과 민감한 특성에서 경험적 리스크 최소화(ERM)보다 일관되게 공정성을 향상시키는가?
• RQ3 실제 의료 영상 운영 환경에서 내분포 및 외분포 설정 간 공정성 성능은 어떻게 달라지는가?
• RQ4 의료 임상 응용에서 가장 강력하고 윤리적으로 부합하는 결과를 낳는 공정성 정의(예: 그룹, 개인, 반사적)는 무엇인가?
• RQ5 대규모 데이터셋인 MIMIC-CXR에서 교차적 하위군(예: 연령이 많은 비백인 여성)에서 다양한 공정성 알고리즘의 성능 및 공정성 간 상호보완적 특성은 무엇인가?

주요 결과

• 모델 선택 전략은 공정성 결과에 상당한 영향을 미치며, 이는 종종 간과되는데, 동일한 알고리즘을 사용하더라도 서로 다른 기준에 따라 공정성 결과가 크게 다를 수 있다.
• 도메인 일반화 방법인 SWAD는 데이터셋 및 공정성 메트릭 전반에서 일관되게 최상의 성능을 보이며, 다양한 혼란 요인에 대한 강건성을 시사한다.
• MIMIC-CXR 데이터셋에서 ERM 기반으로 교차적 하위군(예: 연령이 많은 비백인 여성)의 공정성 격차가 최대 18.92%에 이르며 심각한 격차를 드러낸다.
• 다양한 노력에도 불구하고, 최첨단 공정성 알고리즘이 공정성 메트릭에서 ERM을 뛰어넘는 데 성공하지 못했으며, 특히 외분포 설정에서 그러한 우월성이 뚜렷하지 않아 일관된 우월성 주장에 의문을 제기한다.
• 연령 관련 하위군(예: 80세 이상)의 성능 격차는 ERM 기준 5.32% 및 Subgroup-R 기준 6.99%에 이르며, 이는 연령 편향을 줄이는 것이 특히 어려움을 시사한다.
• 이 연구는 공정성 향상이 종종 전체 모델 유틸리티의 손실을 수반함을 발견하여, 임상 적용에서 복리와 비악행 원칙에 대한 윤리적 우려를 제기한다.