[논문 리뷰] Towards the Practical Utility of Federated Learning in the Medical Domain

Seongjun Yang, Hyeonji Hwang외 5명|arXiv (Cornell University)|2022. 07. 07.

Privacy-Preserving Technologies in Data인용 수 15

한 줄 요약

이 논문은 종단 간 기록( longitudinal EHRs), 피부 암 영상, 심전도 신호와 같은 세 가지 실제 의료 데이터셋을 대상으로 유효한 연합학습(FL) 알고리즘 여섯 종류와 하이브리드 방법(FedPxN)을 평가하여 의료 분야에서 실용적인 기준을 수립한다. FedPxN은 최소한의 시행착오로 일관되게 뛰어난 성능을 기록하며, 빈번한 글로벌 업데이트와 증가한 클라이언트 참여가 비용이 더 높음에도 불구하고 모델 정확도를 향상시킴을 보여준다.

ABSTRACT

Federated learning (FL) is an active area of research. One of the most suitable areas for adopting FL is the medical domain, where patient privacy must be respected. Previous research, however, does not provide a practical guide to applying FL in the medical domain. We propose empirical benchmarks and experimental settings for three representative medical datasets with different modalities: longitudinal electronic health records, skin cancer images, and electrocardiogram signals. The likely users of FL such as medical institutions and IT companies can take these benchmarks as guides for adopting FL and minimize their trial and error. For each dataset, each client data is from a different source to preserve real-world heterogeneity. We evaluate six FL algorithms designed for addressing data heterogeneity among clients, and a hybrid algorithm combining the strengths of two representative FL algorithms. Based on experiment results from three modalities, we discover that simple FL algorithms tend to outperform more sophisticated ones, while the hybrid algorithm consistently shows good, if not the best performance. We also find that a frequent global model update leads to better performance under a fixed training iteration budget. As the number of participating clients increases, higher cost is incurred due to increased IT administrators and GPUs, but the performance consistently increases. We expect future users will refer to these empirical benchmarks to design the FL experiments in the medical domain considering their clinical tasks and obtain stronger performance with lower costs.

연구 동기 및 목표

• 실제 의료 환경에서 연합학습(FL)을 구현하는 데 필요한 실용적 지침의 부족을 해결하기 위해.
• 기관 간 데이터 이질성을 포함한 현실 조건에서 여러 FL 알고리즘의 성능을 평가하기 위해.
• 다양한 의료 데이터 모odalities에 대해 모델 아키텍처, 정규화 기법, 로컬 학습 에포크 수, 비용 요소(전력 소비, GPU, 관리자)에 대한 경험적 기준을 제공하기 위해.
• 의료 분야의 크로스실 연합학습에서 모델 성능, 학습 비용, 확장성 간의 상호 교환 관계를 평가하기 위해.
• 임상 적용 시 시행착오를 최소화할 수 있는 강력하고 일반적인 FL 방법을 규명하기 위해.

제안 방법

• 세 가지 실제 의료 데이터셋—표본 기반의 EHRs(eICU), 피부 병변 영상(HAM10000), 심전도 신호(PhysioNet)—을 대상으로 유효한 연합학습 알고리즘 여섯 종류(FedAvg, FedProx, FedBN, FedDyn, SCAFFOLD, FedPxN)를 평가하였다.
• 각 클라이언트의 데이터를 별도의 기관(예: eICU의 별도 병원, HAM10000의 다른 피부과 클리닉)에서 확보하여 실제 세계의 데이터 이질성을 확보하였다.
• 표준화된 실험 설정: 고정된 통신 라운드 수, 다양한 로컬 에포크 수, 두 가지 정규화 기법(Layer Normalization(LN)과 Group Normalization(GN)) 간 비교.
• FedProx의 정규화와 FedBN의 배치 정규화를 융합한 하이브리드 알고리즘인 FedPxN을 제안하고 평가하였다. 이는 데이터 이질성에 대한 강건성을 향상시키기 위함이다.
• 6개의 임상 과제(예: 사망률 예측, 피부 병변 분류)에서 AUROC를 성능 측정 지표로 사용하였고, 전력 소비와 클라이언트 수를 통해 비용을 정량화하였다.
• 클라이언트 수(5~30명)와 통신 라운드를 변화시켜 확장성과 비용-성능 상호 교환 관계를 평가하기 위한 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 실제 세계의 데이터 이질성 하에서 다양한 의료 데이터 모달리티(정형, 영상, 신호)에 대해 어떤 FL 알고리즘이 가장 우수한 성능을 보일까?
• RQ2 고정된 학습 예산 하에서 글로벌 모델 업데이트 빈도가 FL 성능에 어떤 영향을 미치는가?
• RQ3 참여 클라이언트 수를 늘일 경우 모델 성능과 운영 비용에 어떤 영향을 미치는가?
• RQ4 다른 정규화 기법(LN 대 GN)이 의료 응용 분야에서 FL 수렴과 정확도에 어떤 영향을 미치는가?
• RQ5 하이브리드 FL 알고리즘(FedPxN)은 여러 모달리티와 과제에서 개별 최고 성능 알고리즘을 일관되게 능가하거나 그에 준하는 성능을 내는가?

주요 결과

• FedProx의 정규화와 FedBN의 배치 정규화를 융합한 하이브리드 알고리즘인 FedPxN은 모든 세 가지 의료 모달리티에서 다른 모든 FL 알고리즘과 비교해 유사하거나 뛰어난 성능을 지속적으로 기록하였다.
• FedAvg와 FedProx와 같은 단순한 FL 알고리즘이 SCAFFOLD나 FedDyn과 같은 더 복잡한 알고리즘보다 대부분의 설정에서 뛰어난 성능을 보였으며, 이는 복잡성이 항상 더 좋은 결과를 가져오지 않는다는 것을 시사한다.
• 고정된 학습 반복 수 하에서 빈번한 글로벌 모델 업데이트가 더 좋은 성능을 이끌어내어, 통신 빈도가 핵심 하이퍼파라미터임을 확인하였다.
• 참여 클라이언트 수가 증가함에 따라 모델 성능이 단조롭게 향상되었으며, eICU의 모든 30개 클라이언트를 활용해 학습했을 때 AUROC가 최고 수준에 도달하여 데이터 다양성의 이점을 입증하였다.
• FedPxN은 FedBN(2.888kWh)보다 약간 더 높은 전력 소비(3.401kWh)를 보였지만, 모든 과제와 설정에서 최고 또는 최고 수준의 AUROC를 기록하여 비용 효율적인 선택임을 입증하였다.
• GN을 사용해 20개 클라이언트에서 학습했을 때 FedProx와 FedPxN의 AUROC는 각각 67.15와 66.79였으며, 알고리즘 설계 방식이 다름에도 불구하고 성능 격차가 극히 미미함을 확인하였다.