[논문 리뷰] Achieving Fairness in Dermatological Disease Diagnosis through Automatic Weight Adjusting Federated Learning and Personalization

Gelei Xu, Yawen Wu외 2명|arXiv (Cornell University)|2022. 08. 23.

Cutaneous Melanoma Detection and Management인용 수 5

한 줄 요약

이 논문은 피부질환 진단을 위한 이중 단계의 정의 인식 페더레이티드 러닝 프레임워크를 제안하며, 글로벌 모델 집계 중 자동 손실 기반 가중치 조정과 페더레이티드 러닝 이후 개인화된 피넷유닝을 통해 피부색에 기반한 편향을 줄인다. 이 방법은 성능이 열악한 클라이언트(예: 어두운 피부색 유형)를 우선시하여 각 피부색 유형에 최적의 모델을 선택함으로써 정의 인식을 향상시킨다. 기준 모델 대비 정확도 향상 9.6%와 정확도 분산 68% 감소를 달성한다.

ABSTRACT

Dermatological diseases pose a major threat to the global health, affecting almost one-third of the world's population. Various studies have demonstrated that early diagnosis and intervention are often critical to prognosis and outcome. To this end, the past decade has witnessed the rapid evolvement of deep learning based smartphone apps, which allow users to conveniently and timely identify issues that have emerged around their skins. In order to collect sufficient data needed by deep learning and at the same time protect patient privacy, federated learning is often used, where individual clients aggregate a global model while keeping datasets local. However, existing federated learning frameworks are mostly designed to optimize the overall performance, while common dermatological datasets are heavily imbalanced. When applying federated learning to such datasets, significant disparities in diagnosis accuracy may occur. To address such a fairness issue, this paper proposes a fairness-aware federated learning framework for dermatological disease diagnosis. The framework is divided into two stages: In the first in-FL stage, clients with different skin types are trained in a federated learning process to construct a global model for all skin types. An automatic weight aggregator is used in this process to assign higher weights to the client with higher loss, and the intensity of the aggregator is determined by the level of difference between losses. In the latter post-FL stage, each client fine-tune its personalized model based on the global model in the in-FL stage. To achieve better fairness, models from different epochs are selected for each client to keep the accuracy difference of different skin types within 0.05. Experiments indicate that our proposed framework effectively improves both fairness and accuracy compared with the state-of-the-art.

연구 동기 및 목표

• 어두운 피부색이 훈련 데이터에 부족하게 포함되어 있는 피부질환 인공지능 모델의 심각한 피부색 편향을 해결한다.
• 피부색 간 성능 격차를 완화함으로써 페더레이티드 러닝을 통한 피부질환 진단의 정의를 향상시킨다.
• 글로벌 모델 집계 중 손실이 높은 클라이언트를 우선시하는 동적, 자동 가중치 조정 메커니즘을 개발한다.
• 페더레이티드 러닝 이후 개인화된 모델 적응을 통해 다양한 피부색 간 정의와 정확도의 균형을 이룬다.
• 피부색 간 정확도 격차를 ≤5% 이내로 유지하면서 전체 성능을 최대화한다.

제안 방법

• 페더레이티드 러닝 내 단계에서는 자동 가중치 집계기가 지역 손실이 높은 클라이언트에게 더 높은 글로벌 모델 업데이트 가중치를 할당하며, 손실 차이에 따라 강도가 동적으로 조정된다.
• 가중치 조정 함수는 비선형 지수 매핑을 사용하여 고손실 클라이언트의 영향력을 증폭시키며, 최대값 M과 스케일링 인자 m이 최적 성능을 위해 조정된다.
• 페더레이티드 러닝 이후 단계에서는 각 클라이언트가 글로벌 모델을 기반으로 다양한 훈련 에포크에서 선택된 체크포인트를 사용해 개인화된 모델을 피넷유닝한다.
• 모델 선택은 정의 제약 조건에 따라 이뤄지며, 각 피부색 유형의 정확도가 0.7에서 0.75 사이에 유지되도록 선택된다.
• 프레임워크는 피부색 1~6을 다양한 색소 농도 수준으로 나타내는 Fitzpatrick 17k 데이터셋을 사용하며, 정확도 격차와 분산 메트릭을 통해 정의를 평가한다.
• M와 m 등의 하이퍼파라미터는 아블레이션을 통해 조정되며, M=3이 정확도와 안정성의 균형을 이루는 데 최적으로 밝혀졌다.

실험 결과

연구 질문

• RQ1 페더레이티드 러닝에서 자동 손실 기반 가중치 조정이 피부질환 진단에서 피부색 간 성능 격차를 줄일 수 있는가?
• RQ2 데이터 불균형 하에서 동적 가중치 조정은 고정 또는 정적 가중치 설정 방식보다 정의 향상에 얼마나 효과적인가?
• RQ3 글로벌 모델 훈련 이후 개인화된 피넷유닝이 부족한 피부색 유형의 정의와 정확도 향상에 얼마나 기여하는가?
• RQ4 다양한 훈련 에포크에서 선택된 모델을 고려할 때, 정의(정확도 격차 ≤5%)와 전체 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 제안된 프레임워크는 실제 피부질환 데이터셋에서 최신 기술 대비 정의와 정확도 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 FedAuto 방법은 기준 모델인 FedAvg 대비 전체 정확도가 9.6% 절대 증가했다.
• 피부색 간 정확도 분산은 원래 모델의 32%로 감소하여 정의 향상이 뚜렷하게 나타났다.
• 피부색 6(가장 어두운 피부)는 페더레이티드 러닝 이후 피넷유닝을 통해 정확도가 0.725에 도달하여 성능이 높은 피부색 유형과 격차를 좁혔다.
• 가중치 조정 함수의 최적 상한값 M=3은 가장 높은 F1 스코어(0.7003)와 가장 낮은 정확도 변동(0.00015)을 기록했다.
• 동적 가중치 조정은 고정된 하이퍼파라미터 설정보다 성능이 뛰어나, 손실 차이에 기반한 강도 자동 적응의 이점을 입증했다.
• 다른 에포크에서 선택된 모델을 통해 정의-정확도 트레이드오프를 실현하였으며, 모든 피부색에서 정확도가 상호간 0.05 이내로 유지되었다.