[논문 리뷰] The Federated Tumor Segmentation (FeTS) Challenge

Sarthak Pati, Ujjwal Baid외 30명|arXiv (Cornell University)|2021. 05. 12.

Radiomics and Machine Learning in Medical Imaging참고 문헌 45인용 수 42

한 줄 요약

FeTS 2021 연합학습 도전 과제는 두 가지 과제: 다기관 데이터에서 환자 데이터를 공유하지 않고 연합 가중치 집계와 현장(야생)에서의 연합 평가를 통해 뇌종양 분할을 다루는 것을 설명한다.

ABSTRACT

This manuscript describes the first challenge on Federated Learning, namely the Federated Tumor Segmentation (FeTS) challenge 2021. International challenges have become the standard for validation of biomedical image analysis methods. However, the actual performance of participating (even the winning) algorithms on "real-world" clinical data often remains unclear, as the data included in challenges are usually acquired in very controlled settings at few institutions. The seemingly obvious solution of just collecting increasingly more data from more institutions in such challenges does not scale well due to privacy and ownership hurdles. Towards alleviating these concerns, we are proposing the FeTS challenge 2021 to cater towards both the development and the evaluation of models for the segmentation of intrinsically heterogeneous (in appearance, shape, and histology) brain tumors, namely gliomas. Specifically, the FeTS 2021 challenge uses clinically acquired, multi-institutional magnetic resonance imaging (MRI) scans from the BraTS 2020 challenge, as well as from various remote independent institutions included in the collaborative network of a real-world federation (https://www.fets.ai/). The goals of the FeTS challenge are directly represented by the two included tasks: 1) the identification of the optimal weight aggregation approach towards the training of a consensus model that has gained knowledge via federated learning from multiple geographically distinct institutions, while their data are always retained within each institution, and 2) the federated evaluation of the generalizability of brain tumor segmentation models "in the wild", i.e. on data from institutional distributions that were not part of the training datasets.

연구 동기 및 목표

• 데이터 프라이버시를 보전하면서 지리적으로 다른 기관 간 연합학습을 활용한 견고한 뇌종양 분할을 촉진하고 가능하게 한다.
• 데이터 풀링 없이 합의 모델 구축을 위한 효과적인 연합 가중치 집계 전략을 식별한다.
• 기관 간의 연합 평가를 통해 실제 현장 분포 변화하에서 모델의 일반화 가능성을 평가한다.
• 재현 가능한 FL-based 분할 연구를 지원하기 위한 표준화된 데이터셋, 전처리 및 주석 프로토콜을 제공한다.

제안 방법

• 종양 하위 영역에 대한 그라운드 트루스 레이블을 포함한 BraTS 2020의 다기관 mpMRI 데이터와 FeTS 연합을 사용한다.
• Segmentation 아키텍처보다 집계 방법 평가에 집중하기 위해 잔차 연결이 있는 고정된 U-Net 아키텍처를 적용한다.
• 협력자들이 로컬로 학습하고 중앙 수집기에 업데이트를 보내 합의 모델 생성을 위한 연합 라운드로 학습을 구성한다.
• 데이터 집계 전략과 통신 효율성을 평가하고, 네트워크 장애(스트래글러) 처리의 선택 옵션도 포함한다.
• 각 기관에 보유된 연합 테스트 데이터에서 평가하여 다양한 도메인에 걸친 현장 일반화 능력을 가능하게 한다.
• Dice 유사도 계수와 강건한 95 백분위 Hausdorff 거리로 분할 품질을 측정하고, 라운드 기반 비용으로 커뮤니케이션 예산을 모니터링한다.

실험 결과

연구 질문

• RQ1 기관 간 로컬로 학습된 모델의 지식을 어떤 방법으로 집계하여 견고한 합의 분할 모델을 형성하는 것이 가장 좋은가?
• RQ2 훈련 세트에 포함되지 않은 기관의 데이터에 연합 분할 모델이 얼마나 잘 일반화하는가(현장 도메인 일반화)?
• RQ3 통신 효율성과 장애 처리 방식이 이 설정에서 연합학습 성능에 어떤 영향을 미치는가?

주요 결과

• 이 원고는 최초의 연합학습 기반 뇌종양 분할 도전 과제를 제시하고, FL 가중치 집계와 연합 평가를 위한 두 가지 구체적 작업을 개요한다.
• 평가는 주요 분할 지표로 Dice 유사도 계수와 95백분위 Hausdorff 거리에 의존한다.
• 고정된 잔차 연결이 있는 U-Net을 사용하여 퍼포먼스에 대한 연합 방법론의 영향을 분리한다.
• 전처리는 BraTS 파이프라인(아틀라스 등록 및 뇌 추출)을 따른다. CaPTk 및 FeTS 도구를 공개적으로 사용할 수 있다.
• 재현성을 위한 코드와 파이프라인은 CaPTk 및 FeTS 저장소를 통해 공개된다.
• 도전 과제 프레임워크는 데이터가 로컬 사이트에 남아 있는 프라이버시 보존 분산 평가를 강조한다.