[논문 리뷰] FairMedFM: Fairness Benchmarking for Medical Imaging Foundation Models

Ruinan Jin, Zikang Xu외 5명|arXiv (Cornell University)|2024. 07. 01.

Health Systems, Economic Evaluations, Quality of Life인용 수 4

한 줄 요약

FairMedFM은 다양한 의료 영상 모odalities와 차원에서 17개의 의료 데이터셋을 통합하여 의료 영상 기초모델(FM)의 공정성에 대한 종합적인 공정성 기준을 제안한다. 이 기준은 분류 및 분할과 같은 여러 하류 작업과 공정성 인식 기술을 사용해 20개의 FM을 평가한다. 주요 발견은 모든 모델에서 지속적인 편향이 존재하고, 유틸리티-공정성 간의 상충 관계가 뚜렷하며, 기존의 보완 전략이 제한적으로 효과가 있다는 점이다. 또한 어떤 FM도 공정성이나 유틸리티 측면에서 항상 다른 모델보다 뛰어나지 않는다.

ABSTRACT

The advent of foundation models (FMs) in healthcare offers unprecedented opportunities to enhance medical diagnostics through automated classification and segmentation tasks. However, these models also raise significant concerns about their fairness, especially when applied to diverse and underrepresented populations in healthcare applications. Currently, there is a lack of comprehensive benchmarks, standardized pipelines, and easily adaptable libraries to evaluate and understand the fairness performance of FMs in medical imaging, leading to considerable challenges in formulating and implementing solutions that ensure equitable outcomes across diverse patient populations. To fill this gap, we introduce FairMedFM, a fairness benchmark for FM research in medical imaging.FairMedFM integrates with 17 popular medical imaging datasets, encompassing different modalities, dimensionalities, and sensitive attributes. It explores 20 widely used FMs, with various usages such as zero-shot learning, linear probing, parameter-efficient fine-tuning, and prompting in various downstream tasks -- classification and segmentation. Our exhaustive analysis evaluates the fairness performance over different evaluation metrics from multiple perspectives, revealing the existence of bias, varied utility-fairness trade-offs on different FMs, consistent disparities on the same datasets regardless FMs, and limited effectiveness of existing unfairness mitigation methods. Checkout FairMedFM's project page and open-sourced codebase, which supports extendible functionalities and applications as well as inclusive for studies on FMs in medical imaging over the long term.

연구 동기 및 목표

• 의료 영상 기초모델(FM)의 공정성 평가를 위한 표준화되고 종합적인 기준의 부족을 해결한다.
• 다양한 FM, 데이터 모odalities, 민감한 특성(예: 성별, 연령, 인종) 및 하류 작업(분류 및 분할)을 통틀어 공정성을 체계적으로 평가한다.
• 다양한 피넷튜닝 전략과 FM 유형에서 유틸리티와 공정성 간의 상충 관계를 조사한다.
• 장기적인 의료 FM의 공정성 연구를 지원하기 위해 확장 가능하고 오픈소스인 코드베이스를 제공한다.
• 실제 의료 영상 환경에서 기존의 공정성 보완 기법이 얼마나 효과적인지 평가한다.

제안 방법

• 2D, 2.5D, 3D 모달리티(예: X-ray, CT, MRI, 초음파, OCT, 망막도자, 피부내시경 영상)를 포함한 17개의 의료 영상 데이터셋을 통합한다.
• 일반 목적(FM, 예: CLIP, ViT)과 의료 전용 모델(FM, 예: Med-PaLM, SAM-Med3D)을 포함해 20개의 널리 사용되는 FM을 지원한다.
• 제로샷, 선형 프로빙, 파rameter 효율적 피넷튜닝(PEFT), 프롬프트 기반 적응, 전체 피넷튜닝 등의 다양한 사용 방식을 가능하게 한다.
• 모듈러 구조를 가진 PyTorch 기반 통합 코드베이스를 활용하며, Dataloader, Model, Usage Wrapper, Trainer, Evaluation 모듈로 구성된다.
• EqOdds, AUCΔ, ECEΔ, DSCΔ 및 예측 일치 공정성과 같은 다양한 공정성 지표를 적용하며, t-SNE를 활용해 표현의 공정성도 분석한다.
• 그룹 재균형, 적대적 훈련, 공정성 제약 조건과 같은 최신 공정성 보완 기법을 통합한다.

Figure 1: Overview of the FairMedFM framework, a standardized pipeline to investigate fairness on diverse datasets (2D, 2.5D, and 3D), comprehensive functionalities (various FMs, tasks, usages, and debias algorithms), thorough evaluation metrics. The details are explained in Sec. 3 .

실험 결과

연구 질문

• RQ1 다양한 의료 영상 데이터셋과 민감한 특성에서 다양한 기초모델(FM)의 공정성 성능은 어떻게 되는가?
• RQ2 다양한 FM 유형, 사용 전략 및 하류 작업에서 유틸리티-공정성 상충 관계의 성격과 정도는 어떠한가?
• RQ3 기존의 공정성 보완 기법은 의료 영상 FM에서 편향을 어느 정도 감소시키는가?
• RQ4 동일한 데이터셋에 적용되었을 때, 다양한 FM 간 공정성 격차는 일관된가?
• RQ5 FM의 잠재 표현은 공정성 결과와 어떻게 관련되어 있으며, 표현 공간 조작을 통해 편향을 완화시킬 수 있는가?

주요 결과

• 통계적 검정(CD 다이어그램)을 통해 모든 모델 간 유의미한 성능 차이가 없음을 확인하여, 어떤 기초모델도 공정성이나 유틸리티 측면에서 항상 다른 모델보다 뛰어나지 않음을 입증한다.
• 모델 유형에 관계없이 성별, 연령, 인종 등의 민감한 특성에 따라 뚜렷한 공정성 격차가 존재하며, 이는 모델 행동 내 지속적인 편향을 시사한다.
• 유틸리티-공정성 상충 관계는 뚜렷하며, FM 유형과 사용 전략에 따라 다르게 나타나며, 최적의 균형을 이루는 단일 전략은 존재하지 않는다.
• 적대적 훈련 및 그룹 재균형과 같은 기존의 공정성 보완 방법은 데이터셋과 작업 전반에서 편향 감소에 제한적인 효과를 보였다.
• 표현 공간 분석 결과, 데이터 수준의 그룹 분리 가능성(예: HAM10000에서 관찰됨)이 높은 공정성 격차와 관련이 있으며, 이는 데이터 분포가 편향의 핵심 원인임을 시사한다.
• FairMedFM의 오픈소스 코드베이스는 확장 가능한 기준 평가를 가능하게 하며, SAM-Med2D나 FastSAM-3D와 같은 프롬프트 기반 모델을 활용한 분할 작업을 포함한 다양한 사용 사례를 지원한다.

Figure 2: Bias in classification tasks. $\text{AUC}_{\Delta}$ is the fairness evaluation metric. “ $\dagger$ ” denotes vision-language models, and “ $*$ ” denotes pure vision models, where CLIP-ZS and CLIP-Adapt are not applicable.