[논문 리뷰] Multi-site Organ Segmentation with Federated Partial Supervision and Site Adaptation

Pengbo Liu, Mengke Sun외 1명|arXiv (Cornell University)|2023. 02. 08.

Medical Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 다중 기관의 장기 분할을 위한 이중 단계 페더레이티드 러닝 프레임워크를 제안한다. 먼저, '지식 갈등' 문제를 해결하기 위해 새로운 손실 설계를 사용해 부분적 지도 하에 여러 기관에서 통합된 다장기 모델을 훈련하고, 이후 각 기관별로 미세조정을 통해 이 모델을 적응시킨다. 이 방법은 데이터 기밀성을 유지하면서도 중앙 집중식으로 훈련된 모델과 유사한 성능을 달성한다.

ABSTRACT

Objective and Impact Statement: Accurate organ segmentation is critical for many clinical applications at different clinical sites, which may have their specific application requirements that concern different organs. Introduction: However, learning high-quality, site-specific organ segmentation models is challenging as it often needs on-site curation of a large number of annotated images. Security concerns further complicate the matter. Methods: The paper aims to tackle these challenges via a two-phase aggregation-then-adaptation approach. The first phase of federated aggregation learns a single multi-organ segmentation model by leveraging the strength of 'bigger data', which are formed by (i) aggregating together datasets from multiple sites that with different organ labels to provide partial supervision, and (ii) conducting partially supervised learning without data breach. The second phase of site adaptation is to transfer the federated multi-organ segmentation model to site-specific organ segmentation models, one model per site, in order to further improve the performance of each site's organ segmentation task. Furthermore, improved marginal loss and exclusion loss functions are used to avoid 'knowledge conflict' problem in a partially supervision mechanism. Results and Conclusion: Extensive experiments on five organ segmentation datasets demonstrate the effectiveness of our multi-site approach, significantly outperforming the site-per-se learned models and achieving the performance comparable to the centrally learned models.

연구 동기 및 목표

• 개인정보 및 보안 제약으로 인해 대규모 레이블이 부여된 데이터가 확보되지 않을 경우, 고품질의 기관별 장기 분할 모델을 훈련하는 데 도전하는 데 목적을 두며.
• 원시 의료 영상을 공유하지 않고도 여러 임상 기관 간에 협업 모델 훈련을 가능하게 하여 데이터 기밀성을 유지하는 데 목적을 두며.
• 다양한 기관에서 장기가 일관되지 않게 레이블링되는 부분적 지도 하에 다장기 분할에서 발생하는 '지식 갈등' 문제를 해결하는 데 목적을 두며.
• 글로벌로 훈련된 페더레이티드 모델을 지역 데이터 분포에 맞게 적응시켜 기관별 분할 성능을 향상시키는 데 목적을 두며.
• 부분적 지도 하에 페더레이티드 러닝을 사용하는 다장기 분할을 위한 확장 가능하고 기밀성을 보장하는 프레임워크를 개발하는 데 목적을 두며.

제안 방법

• 이중 단계 접근 방식을 제안한다: (1) 여러 기관의 부분적으로 레이블링된 데이터셋을 페더레이티드 방식으로 집계하여 통합된 다장기 분할 모델을 훈련하고, (2) 각 기관별로 성능을 향상시키기 위해 적응 조정을 수행한다.
• 부분적 지도 학습에서 발생하는 '지식 갈등' 문제를 완화하기 위해 국소 손실 함수와 배제 손실 함수를 도입하여, 한 기관의 전경 물체가 다른 기관의 배경에 영향을 주지 않도록 보장한다.
• 부분적 지도 하에서 강력한 훈련을 위해 딱딱한 손실, 교차 엔트로피, 포칼, Top-K, Lovasz 손실 함수를 사용하며, 이들 각각에 대해 국소 및 배제 변형을 적용한다.
• 모델 집계에 페더레이티드 평균화(FedAvg)를 사용하며, 클라이언트는 로컬에서 훈련하고 업데이트된 가중치를 중앙 서버에 전송하여 글로벌 모델을 업데이트함으로써 데이터가 현지 기관에서 이동하지 않도록 보장한다.
• 기본 모델을 지역 데이터 분포에 맞게 적응시키기 위해 세 가지 미세조정 전략을 적용한다: 전체 미세조정, 인코더 고정, 디코더 고정.
• 모델 평균화를 사용하는 클라이언트-서버 FL 아키텍처를 사용하며, 각 클라이언트는 검증 성능 기반으로 최적의 로컬 모델을 선택한다.

Figure 1: CT images of different partially labeled datasets for different tasks at different clinical sites. The red, green, blue, yellow, and cyan color represent liver, spleen, pancreas, right kidney, and left kidney, respectively.

실험 결과

연구 질문

• RQ1 부분적으로 레이블링된 데이터를 사용하면서도 여러 임상 기관 간에 단일 다장기 분할 모델을 효과적으로 훈련시킬 수 있는가, 이때 지식 갈등 문제를 피할 수 있는가?
• RQ2 이질적인 레이블과 데이터 수집 프로토콜을 가진 기관 간에 공동으로 분할 모델을 훈련할 때 데이터 기밀성을 어떻게 유지할 수 있는가?
• RQ3 글로벌로 훈련된 페더레이티드 모델이 기관별 장기 분할 작업에서 성능을 향상시키기 위해 얼마나 효과적으로 적응할 수 있는가?
• RQ4 다장기 분할에서 기관별 적응을 위해 어떤 미세조정 전략(전체, 인코더 고정, 디코더 고정)이 가장 높은 성능을 낼 수 있는가?
• RQ5 제안된 손실 설계가 다기관 환경에서 부분적 지도로 인한 성능 저하를 효과적으로 줄이는가?

주요 결과

• 제안된 페더레이티드 다장기 분할 모델은 각 데이터셋에서 독립적으로 훈련된 모델보다 유의미하게 뛰어난 성능을 보이며, 협업 학습의 이점을 입증한다.
• 데이터 공유가 전혀 이루어지지 않으며 기관 간에 부분적으로만 레이블링된 상태임에도 불구하고, 중앙 집중식으로 훈련된 모델과 유사한 성능을 달성한다.
• 국소 손실과 배제 손실의 조합이 부분적 지도 하에서 다장기 분할의 '지식 갈등' 문제를 효과적으로 완화한다.
• 미세조정을 통한 기관별 적응이 개별 기관의 분할 성능을 더욱 향상시키며, 특히 인코더 고정 또는 전체 미세조정 전략에서 최고의 성능 결과를 얻는다.
• 다섯 개의 서로 다른 장기 분할 데이터셋에 걸쳐 강건하고 확장 가능한 일반화 성능를 유지함으로써, 이 방법의 강건성과 확장성을 확인한다.
• 제거 실험을 통해 국소 손실과 배제 손실 모두 성능 향상에 기여하며, 특히 기관 간 일관되지 않은 레이블링 처리에 있어 중요한 기여를 한다.

Figure 2: Visualization of the segmentation results of our proposed method and other SOTA methods.