[논문 리뷰] FedDropoutAvg: Generalizable federated learning for histopathology image classification

Gozde N. Gunesli, Mohsin Bilal외 2명|arXiv (Cornell University)|2021. 11. 25.

AI in cancer detection인용 수 12

한 줄 요약

이 논문은 히스토파스 toll로지 영상 분류를 위한 새로운 피드럴러닝 프레임워크인 FedDropoutAvg를 제안한다. 이 방법은 피드럴러닝 평균화 과정 중에 랜덤한 클라이언트 선택과 랜덤한 파라미터 드롭아웃을 도입함으로써 모델의 일반화 능력을 향상시킨다. 120만 장의 영상 타일을 포함한 21개 센터의 다중센터 데이터셋에서 중앙집중식 학습과 유사한 성능을 달성하였으며, 표준 FedAvg 및 FedProx보다도 새로운 센터에 대한 일반화 성능에서 뛰어나다.

ABSTRACT

Federated learning (FL) enables collaborative learning of a deep learning model without sharing the data of participating sites. FL in medical image analysis tasks is relatively new and open for enhancements. In this study, we propose FedDropoutAvg, a new federated learning approach for training a generalizable model. The proposed method takes advantage of randomness, both in client selection and also in federated averaging process. We compare FedDropoutAvg to several algorithms in an FL scenario for real-world multi-site histopathology image classification task. We show that with FedDropoutAvg, the final model can achieve performance better than other FL approaches and closer to a classical deep learning model that requires all data to be shared for centralized training. We test the trained models on a large dataset consisting of 1.2 million image tiles from 21 different centers. To evaluate the generalization ability of the proposed approach, we use held-out test sets from centers whose data was used in the FL and for unseen data from other independent centers whose data was not used in the federated training. We show that the proposed approach is more generalizable than other state-of-the-art federated training approaches. To the best of our knowledge, ours is the first study to use a randomized client and local model parameter selection procedure in a federated setting for a medical image analysis task.

연구 동기 및 목표

• 데이터가 분산되어 있고 이질적인 다중 센터 히스토파스 toll로지 영상 분류에 대한 피드럴러닝에서 모델의 일반화 능력을 향상시키는 데 도전하는 것.
• 데이터 크기 가중치 기반에 의존하고 데이터 불균형 및 품질 변동으로 인해 과소적합이 발생할 수 있는 표준 피드럴러닝 평균화(FedAvg) 및 FedProx의 한계를 극복하는 것.
• 각 센터의 데이터 품질이나 성능에 대한 사전 지식 없이도 강건성과 일반화 능력을 향상시킬 수 있는 방법을 개발하는 것.
• 제안된 방법이 학습 센터의 보류된 테스트 세트와 학습에 참여하지 않은 센터의 독립된 테스트 세트에서 평가되어 실제 환경에서의 구현 가능성을 점검하는 것.

제안 방법

• FedDropoutAvg는 각 피드럴러닝 학습 라운드의 시작 시 랜덤한 클라이언트 선택을 도입하여 통신 및 계산 부하를 감소시킨다.
• 집계 시점에 중앙 서버는 선택된 클라이언트의 모델 파라미터에 대해 랜덤 드롭아웃을 적용한 후 평균을 구함으로써 일반화 능력을 향상시키기 위한 확률적 요소를 도입한다.
• 각 클라이언트에서 전체 모델을 로컬로 훈련하여 모델 용량을 유지하고, 드롭아웃은 오직 글로벌 집계 시에만 적용된다.
• 드롭아웃 이후 남은 파라미터의 가중치 평균을 취하며, 이 가중치는 로컬 데이터 크기에 기반한다. FedAvg와 유사하지만 추가적인 무작위성이 포함된다.
• 기존의 피드럴러닝 최적화 기법(예: 기울기 평균화에서의 모멘텀)과의 호환성을 고려하여 설계되었다.
• 한 라운드에 선택되지 않은 클라이언트는 통신하지 않아 대규모 구현에서 통신 효율성이 향상된다.

실험 결과

연구 질문

• RQ1 피드럴러닝 평균화 과정 중에 클라이언트 선택과 파라미터 드롭아웃을 랜덤하게 적용함으로써 다중 센터 히스토파스 toll로지 영상 분류에서 모델의 일반화 능력 향상이 가능한가?
• RQ2 FedDropoutAvg는 학습 센터의 보류된 테스트 세트와 새로운 센터의 테스트 세트에서 FedAvg 및 FedProx와 비교해 성능가 어떻게 다를까?
• RQ3 클라이언트 참여와 파라미터 집계 모두에 랜덤성을 도입함으로써 데이터 이질성과 품질 변동에 대한 강건성이 향상되는가?
• RQ4 원시 데이터를 공유하지 않더라도 FedDropoutAvg가 중앙집중식 학습 성능에 가까운 성능을 달성할 수 있는가?
• RQ5 실제 피드럴러닝 환경에서 제안된 방법이 통신 효율성과 계산 부하에 어떤 영향을 미치는가?

주요 결과

• FedDropoutAvg는 21개 센터에서 온 120만 장의 영상 타일 데이터셋에서 FedAvg 및 FedProx보다 중앙집중식 학습에 더 가까운 분류 성능를 달성하였다.
• 학습에 참여하지 않은 센터에서의 독립된 테스트 세트에 대해 FedDropoutAvg로 훈련된 모델은 훨씬 더 뛰어난 일반화 능력을 보였으며, 이는 분포 외 성능 향상의 증거이다.
• 학습 센터의 보류된 테스트 세트와 새로운 센터의 테스트 세트 모두에서 FedDropoutAvg는 FedAvg 및 FedProx를 능가했으며, 데이터 이질성에 대한 강건성이 향상됨을 시사한다.
• 랜덤 클라이언트 선택은 매 라운드에 참여하는 클라이언트 수를 줄여 통신 및 계산 부하를 감소시켜 확장성 향상에 기여하였다.
• 이 방법은 의료 영상 분석을 위한 피드럴러닝에서 랜덤 클라이언트 및 파라미터 선택을 적용한 최초의 방법으로, 일반화를 위한 새로운 패러다임을 제시한다.
• 기존의 부분 모델 훈련 방식과 달리, 로컬에서 전체 모델을 훈련하고 집계 시에만 드롭아웃을 적용함으로써 높은 모델 용량을 유지한다.