[논문 리뷰] Multi-Institutional Deep Learning Modeling Without Sharing Patient Data: A Feasibility Study on Brain Tumor Segmentation

Micah Sheller, G. Anthony Reina외 3명|arXiv (Cornell University)|2018. 10. 10.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 19

한 줄 요약

이 연구는 환자 데이터를 공유하지 않고 다중 기관 간 뇌 종양 세분화를 위한 연합 학습(FL)을 제안하여 데이터 프라이버시를 유지하면서도 협업형 딥 러닝을 가능하게 한다. FL은 0.852의 Dice 스코어를 달성하여 중앙집중식 학습(0.862)의 99% 성능을 달성하며, 기관별 점진적 학습 및 순환 점진적 학습과 같은 대안 방법들을 능가한다.

ABSTRACT

Deep learning models for semantic segmentation of images require large amounts of data. In the medical imaging domain, acquiring sufficient data is a significant challenge. Labeling medical image data requires expert knowledge. Collaboration between institutions could address this challenge, but sharing medical data to a centralized location faces various legal, privacy, technical, and data-ownership challenges, especially among international institutions. In this study, we introduce the first use of federated learning for multi-institutional collaboration, enabling deep learning modeling without sharing patient data. Our quantitative results demonstrate that the performance of federated semantic segmentation models (Dice=0.852) on multimodal brain scans is similar to that of models trained by sharing data (Dice=0.862). We compare federated learning with two alternative collaborative learning methods and find that they fail to match the performance of federated learning.

연구 동기 및 목표

• 개인정보, 법적 제약 및 데이터 소유권 장벽으로 인해 딥 러닝을 위한 충분한 레이블이 부여된 의료 영상 데이터 확보의 과제를 해결하기 위해.
• 다중 기관 의료 영상 협업에서 중앙집중식 데이터 공유의 대안으로 프라이버시를 보존하는 연합 학습의 유효성을 평가하기 위해.
• 성능 및 안정성 측면에서 연합 학습을 기관별 점진적 학습(IIL) 및 순환 기관별 점진적 학습(CIIL)과 비교하기 위해.
• 원시 환자 데이터를 기관 간 이전하지 않고 다중 모odal 뇌 MRI 데이터에서 고성능 세분화 모델을 훈련시키는 가능성을 입증하기 위해.

제안 방법

• 연합 학습은 U-Net 아키텍처를 사용하여 각 기관에서 자체 데이터로 로컬로 모델을 훈련하고, 중앙 서버에 모델 업데이트(기울기)만을 전송한다.
• 중앙 서버는 각 기관의 데이터셋 크기에 비례하는 가중치를 사용하여 모델 업데이트를 가중 평균으로 집계한다.
• 업데이트된 글로벌 모델은 다음 라운드의 로컬 훈련을 위해 모든 기관으로 다시 배포되며, 이는 연합 라운드를 형성한다.
• 학습률(5e-4), 배치 크기(64), Adam 옵timizer와 같은 하이퍼파라미터는 모든 실험에서 일관되게 사용된다.
• 실제 기관의 데이터 크기를 반영한 비균형 데이터 분포를 고려한 다양한 시뮬레이션 연합(4~32개 기관)에서 방법을 평가한다.
• 차별적 프라이버시를 추가적인 프라이버시 조치로 고려하지만, 학습 속도 저하 우려로 인해 이 연구에서는 완전히 구현되지 않았다.

실험 결과

연구 질문

• RQ1 연합 학습은 원시 환자 데이터를 공유하지 않고도 다중 기관 간 뇌 종양 세분화에서 중앙집중식 학습과 유사한 성능을 달성할 수 있는가?
• RQ2 모델 성능 및 훈련 안정성 측면에서 연합 학습은 IIL 및 CIIL와 같은 대안적 협업 학습 방법과 비교해 어떻게 다른가?
• RQ3 실제 의료 영상 협업에서 흔한 소규모 비균형 데이터셋을 가진 다수의 기관에 대해 연합 학습은 효과적으로 확장 가능한가?
• RQ4 각 기관의 데이터가 제한되어 있을 경우(예: 기관당 6명의 환자), 연합 학습은 여전히 높은 성능을 유지할 수 있는가?
• RQ5 기관 수와 라운드당 에포크 수가 변할 경우 연합 학습의 수렴 동역학 및 안정성 특성은 어떠한가?

주요 결과

• 연합 학습은 0.852의 Dice 스코어를 달성하여 중앙집중식 학습(0.862)의 99% 성능을 달성하며, 프라이버시 보존 협업의 강력한 타당성을 입증한다.
• 기관별 점진적 학습(IIL)은 FL에 비해 유의미하게 열등한 성능을 보이며, 효과적인 다중 기관 모델 훈련에 부적합함을 시사한다.
• 순환 기관별 점진적 학습(CIIL)은 FL에 비해 더 불안정하고 검증이 어려우며, 빈번한 전체 검증이 필요해 통신 및 계산 비용이 증가한다.
• FL은 기관 수가 16개와 32개일 경우에도 일관된 수렴을 보였지만, 기관당 샘플 수가 적어지면서 모델 델타가 작아져 수렴 속도가 느려지는 경향을 보였다.
• CIIL의 경우 런에 따른 모델 성능 표준편차가 FL에 비해 10배 높아, FL의 우수한 안정성을 강력히 입증한다.
• 비균형 데이터 및 기관당 소규모 샘플 수(예: 기관당 6명의 환자)에도 불구하고 FL은 높은 성능을 유지하여 실세계 데이터 분포 과제에 대한 강건성을 보였다.