[논문 리뷰] FairTune: Optimizing Parameter Efficient Fine Tuning for Fairness in Medical Image Analysis

Raman Dutt, Ondrej Bohdal외 2명|arXiv (Cornell University)|2023. 10. 08.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

FairTune은 검증 시의 공정성 최대화를 목표로 최적의 효율적인 미세조정(PEFT) 마스크를 선택하는 이중 최적화 프레임워크를 제안하여 의료 영상 분석의 공정성을 향상시킨다. 훈련 시 공정성이 완벽함에도 테스트 시 편향이 발생하는 '공정성 일반화 갭'에 초점을 맞추어, 다양한 의료 영상 기준에서 기존의 경험적 리스크 최소화(ERM) 방법을 능가한다.

ABSTRACT

Training models with robust group fairness properties is crucial in ethically sensitive application areas such as medical diagnosis. Despite the growing body of work aiming to minimise demographic bias in AI, this problem remains challenging. A key reason for this challenge is the fairness generalisation gap: High-capacity deep learning models can fit all training data nearly perfectly, and thus also exhibit perfect fairness during training. In this case, bias emerges only during testing when generalisation performance differs across subgroups. This motivates us to take a bi-level optimisation perspective on fair learning: Optimising the learning strategy based on validation fairness. Specifically, we consider the highly effective workflow of adapting pre-trained models to downstream medical imaging tasks using parameter-efficient fine-tuning (PEFT) techniques. There is a trade-off between updating more parameters, enabling a better fit to the task of interest vs. fewer parameters, potentially reducing the generalisation gap. To manage this tradeoff, we propose FairTune, a framework to optimise the choice of PEFT parameters with respect to fairness. We demonstrate empirically that FairTune leads to improved fairness on a range of medical imaging datasets. The code is available at https://github.com/Raman1121/FairTune

연구 동기 및 목표

• 훈련 시 완벽한 공정성에도 테스트 시 편향이 발생하는 의료 AI의 공정성 일반화 갭을 해결한다.
• 고용량 딥 뉴럴 모델에서 실패하는 기존의 공정성 간섭 기법(훈련 시 제약 조건에 의존)의 비효율성을 극복한다.
• 미세조정 중에 가장 공정성 향상을 이끄는 파라미터 업데이트 마스크를 선택하여 PEFT를 최적화하는 방법을 개발한다.
• 훈련 성능이 아닌 검증 성능 기반 정규화를 통해 공정성이 향상될 수 있음을 입증한다.
• 사전 학습된 모델을 사용하는 실세계 의료 영상 작업에 적용 가능한 확장성 있고 효율적인 프레임워크를 제공한다.

제안 방법

• 검증 데이터에서의 공정성을 최대화하도록 PEFT 업데이트 마스크를 최적화하는 이중 최적화 문제로 공정 학습을 수립한다.
• 과적합과 일반화 갭을 줄이기 위해 파라미터 효율적 미세조정(PEFT)을 사용하여 업데이트되는 파라미터 수를 제한한다.
• 검증 데이터에서 공정성 격차를 최소화하는 최적의 파라미터 업데이트 마스크를 식별하기 위해 미분 가능 검색 기법을 적용한다.
• 표준 ERM 손실을 사용해 모델을 훈련하지만, 공정성 기반 최적화로 선별된 부분 집합의 파라미터만 업데이트하도록 마스크를 제약한다.
• 계산 비용을 줄이기 위해 공정성 성능을 유지하면서도 대표적 데이터 서브셋에서 초모수 검색을 수행한다.
• 등가된 기회 및 등가된 오dds와 같은 지표를 사용해 보호되는 속성(예: 연령, 성별, 피부 유형)에 걸쳐 공정성 수준을 평가한다.

Figure 1: Bias arises during train-test generalisation. Left (Training AUROC): High-capacity deep models can exhibit perfect group fairness during training because they can classify all the training data perfectly. Right (Validation AUROC): Bias arises because the disadvantaged subgroup has worse ge

실험 결과

연구 질문

• RQ1 훈련 공정성 대신 검증 공정성 기반으로 PEFT 업데이트 마스크를 최적화함으로써 의료 영상 분석의 공정성을 향상시킬 수 있는가?
• RQ2 훈련 시 공정성이 완벽함에도 테스트 시 편향이 발생하는 공정성 일반화 갭이 고용량 모델에서도 지속되는가?
• RQ3 PEFT 파라미터에 대한 이중 최적화가 다양한 의료 영상 데이터셋에서 일관된 공정성 향상을 이끌 수 있는가?
• RQ4 다양한 보호되는 속성에 걸쳐 FairTune이 표준 ERM 미세조정 대비 공정성 지표에서 어떻게 성능을 내는가?
• RQ5 CheXpert과 같은 대규모 데이터셋에 적용했을 때 제안된 방법이 확장 가능하고 효과적인가?

주요 결과

• FairTune는 Fitzpatrick17k, HAM10000, PAPILA, OL3I, OASIS, Harvard-GF3300, CheXpert 등 평가된 모든 의료 영상 데이터셋에서 등가된 오dds 및 등가된 기회와 같은 공정성 지표를 일관되게 향상시켰다.
• 기존의 공정성 간섭 기법이 공정성 일반화 갭으로 인해 실패하는 상황에서도 FairTune는 표준 ERM 미세조정보다 공정성에서 뛰어난 성능을 보였다.
• 실험 결과는 편향이 훈련 단계가 아닌 테스트 시 일반화 과정에서 발생함을 확인하여 본 논문의 핵심 동기의 타당성을 입증했다.
• CheXpert의 10% 정도의 서브셋을 사용한 초모수 검색이 전체 데이터셋에서의 공정성 성능을 유지함을 보여, 확장성을 입증했다.
• 전체 정확도를 손상시키지 않고 ERM 대비 통계적으로 유의미한 공정성 향상을 달성하여 효과적인 편향 완화를 입증했다.
• 프레임워크는 피부과, CT, MRI, X-ray 등 다양한 모odalities와 연령, 성별, 피부 유형, 인종 등 다양한 민감한 속성에 대해 강건함을 보였다.

Figure 2: Illustration that shows how our approach optimises the structure of PEFT with respect to fairness. Hyperparameter optimisation (HPO) selects a mask that decides which components of a pre-trained model $\theta$ are fine-tuned using PEFT. For each sampled mask, the fine-tuned model is evalua