[논문 리뷰] FedNorm: Modality-Based Normalization in Federated Learning for Multi-Modal Liver Segmentation

Tobias Bernecker, Annette Peters외 6명|arXiv (Cornell University)|2022. 05. 23.

Radiomics and Machine Learning in Medical Imaging인용 수 16

한 줄 요약

이 논문은 분산된 환경에서 CT 및 MRI 데이터 간의 다중모달 간 liver 분할을 향상시키기 위해 모odal 기반 정규화를 사용하는 두 가지 페더레이티드 러닝 방법인 FedNorm과 FedNorm+를 제안한다. 환자 또는 슬라이스 수준에서 영상 모달리티에 기반해 특징을 정규화함으로써, CT에서 최대 0.961, MRI에서 최대 0.941의 Dice 스코어를 달성하였으며, 지역 모델을 일관되게 능가하고 중앙집중식 학습 성능과 동일하거나 이를 초월하였다.

ABSTRACT

Given the high incidence and effective treatment options for liver diseases, they are of great socioeconomic importance. One of the most common methods for analyzing CT and MRI images for diagnosis and follow-up treatment is liver segmentation. Recent advances in deep learning have demonstrated encouraging results for automatic liver segmentation. Despite this, their success depends primarily on the availability of an annotated database, which is often not available because of privacy concerns. Federated Learning has been recently proposed as a solution to alleviate these challenges by training a shared global model on distributed clients without access to their local databases. Nevertheless, Federated Learning does not perform well when it is trained on a high degree of heterogeneity of image data due to multi-modal imaging, such as CT and MRI, and multiple scanner types. To this end, we propose Fednorm and its extension \fednormp, two Federated Learning algorithms that use a modality-based normalization technique. Specifically, Fednorm normalizes the features on a client-level, while Fednorm+ employs the modality information of single slices in the feature normalization. Our methods were validated using 428 patients from six publicly available databases and compared to state-of-the-art Federated Learning algorithms and baseline models in heterogeneous settings (multi-institutional, multi-modal data). The experimental results demonstrate that our methods show an overall acceptable performance, achieve Dice per patient scores up to 0.961, consistently outperform locally trained models, and are on par or slightly better than centralized models.

연구 동기 및 목표

• 다른 기관, 스캐너, 영상 모달리티(CT/MRI)에서 온 데이터가 비독립적이고 동일하지 않으며 기밀성이 중요한 상황에서 페더레이티드 러닝 환경에서 강건한 다중모달 간 간성 분할 모델을 훈련하는 데 도전한다.
• 고객 간 모달리티 이질성과 분포 이동으로 인한 페더레이티드 러닝 성능 저하 문제를 해결한다.
• 데이터 공유나 중앙집중적 데이터 수집 없이 모달리티 특화된 특징에 적응할 수 있는 정규화 전략을 개발한다.
• 데이터 중앙집중화 없이도 페더레이티드 모델이 중앙집중식 학습 성능을 따라하거나 능가할 수 있음을 입증한다.
• 특징 정규화 시 클라이언트 수준의 모달리티 정보만을 사용하여 CT와 MRI 간의 효과적인 전이 학습을 가능하게 한다.

제안 방법

• 고객 수준에서 모달리티 특화 통계를 사용해 특징을 정규화하는 페더레이티드 러닝 프레임워크인 FedNorm을 제안하여 이질적인 데이터 소스 간의 일반화 능력을 향상시킨다.
• 혼합 CT 및 MRI 데이터를 가진 고객을 더 잘 다루기 위해 슬라이스 수준에서 모달리티 기반 정규화를 적용하는 FedNorm+를 FedNorm의 확장으로 도입한다.
• 모달리티 인식 배치 정규화를 페더레이티드 학습 과정에 통합하여, 영상 모달리티에 따라 고객 또는 슬라이스 수준에서 정규화 통계를 적응적으로 조정한다.
• 다양한 영상 프로토콜 간 일관된 특징 표현을 보장하기 위해 모달리티 인식 정규화 레이어를 갖춘 U-Net 기반 분할 아키텍처를 사용한다.
• 수렴성과 안정성을 향상시키기 위해 기본 최적화 전략으로 Federated Averaging with Server Momentum (FedAvgM)를 적용한다.
• 실제 비독립적이고 비균일한 다기관 환경에서 모델을 훈련하고 검증하기 위해 여러 기관과 모달리티에서 온 공개 데이터셋(CHAOS19, LiTS17, SLIVER07, KORA)을 활용한다.

실험 결과

연구 질문

• RQ1 데이터가 분산되어 있고 비독립적일 때, 페더레이티드 러닝이 CT 및 MRI 데이터 간의 다중모달 간 간성 분할 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 표준 정규화 또는 기준 페더레이티드 러닝 방법에 비해 모달리티 기반 정규화는 페더레이티드 간성 분할에서 성능을 어떻게 향상시키는가?
• RQ3 고객이 혼합 모달리티 데이터(CT 및 MRI)를 포함할 경우, FedNorm+가 FedNorm 및 기타 최신 페더레이티드 러닝 방법을 능가할 수 있는가?
• RQ4 데이터 중앙집중화 없이도 페더레이티드 모델이 다중모달 간 간성 분할에서 중앙집중식 모델을 따라하거나 능가할 수 있는 정도는 어느 정도인가?
• RQ5 모달리티 인식 정규화는 페더레이티드 의료 영상 분할에서 데이터 이질성의 부정적 영향을 줄이는가?

주요 결과

• FedNorm+는 Non-IID 2 설정에서 MRI에서 0.942(±0.023), CT에서 0.961(±0.022)의 Dice 스코어를 기록하여 다중모달 페더레이티드 간성 분할 분야에서 최신 기술 수준의 성능을 입증하였다.
• 제안된 FedNorm+ 방법은 개별 데이터셋에서 훈련된 지역 모델을 일관되게 능가하였으며, 고객 간 CT에서 최대 0.961, MRI에서 최대 0.941의 Dice 스코어를 기록하였다.
• FedNorm+는 일부 고객, 특히 도전적인 KORA T1 Water (1) MRI 고객에서 FedBN 및 중앙집중식 모델을 능가하며 중앙집중식 모델과 동등하거나 뛰어난 성능을 보였다.
• FedNorm+는 낯선 이미지 외관에서도 간을 안정적으로 분할하고, 간과 유사한 강도를 가진 영역에서 잘못된 양성 결과를 방지하는 데 성공하였다.
• 상대적으로 작은 U-Net 아키텍처를 사용하여도 높은 성능을 달성하여 자원 제약 환경에서의 효율성과 확장성을 보여주었다.
• 특히 혼합 모달리티 데이터를 가진 고객에서 FedNorm는 슬라이스 수준의 모달리티 처리가 부족하여 실패한 반면, FedNorm+는 다양한 영상 프로토콜과 스캐너 유형 간에서 뛰어난 일반화 능력을 보였다.