[논문 리뷰] Fed-Sim: Federated Simulation for Medical Imaging

Daiqing Li, Amlan Kar외 3명|arXiv (Cornell University)|2020. 09. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 6

한 줄 요약

Fed-Sim는 의료 영상에서 해부학적 형태와 영상 물리적 특성을 GAN 기반 생성 모델을 사용해 분리함으로써 다양한 병원 간에 강건한 분할을 가능하게 하는 연합 시뮬레이션 프레임워크를 제안한다. 비밀번호 및 규제 제약으로 인한 데이터 공유 제한 속에서도 분산된 데이터로 훈련하고 분포 외의 경우를 시뮬레이션함으로써 최신 기술 수준의 일반화 성능을 달성하며, Ours-Sim-FL은 시뮬레이션된 병원 간 데이터에서 평균 DICE가 87.95%에 이를 수 있다.

ABSTRACT

Labelling data is expensive and time consuming especially for domains such as medical imaging that contain volumetric imaging data and require expert knowledge. Exploiting a larger pool of labeled data available across multiple centers, such as in federated learning, has also seen limited success since current deep learning approaches do not generalize well to images acquired with scanners from different manufacturers. We aim to address these problems in a common, learning-based image simulation framework which we refer to as Federated Simulation. We introduce a physics-driven generative approach that consists of two learnable neural modules: 1) a module that synthesizes 3D cardiac shapes along with their materials, and 2) a CT simulator that renders these into realistic 3D CT Volumes, with annotations. Since the model of geometry and material is disentangled from the imaging sensor, it can effectively be trained across multiple medical centers. We show that our data synthesis framework improves the downstream segmentation performance on several datasets. Project Page: https://nv-tlabs.github.io/fed-sim/ .

연구 동기 및 목표

• 개인정보 및 규제 제약으로 인한 데이터 공유 제한 속에서 병원 간에 강건한 의료 영상 분할 모델을 훈련하는 데 도전하는 것.
• 한 병원의 환자가 다른 병원에서 스캔되는 분포 외의 경우를 시뮬레이션하여 실제 운영 환경을 모방하는 것.
• 원시 데이터를 공유하지 않고도 협업 훈련이 가능한 연합 학습 프레임워크를 개발하는 것.
• 합성 데이터 생성에서 해부학적 형태를 영상 특성(예: CT 대조도, 노이즈)과 분리함으로써 모델의 일반화를 향상시키는 것.
• 실제 분포 이탈을 모방하는 시뮬레이션된 병원 간 데이터에서 메서드의 강건성을 검증하는 것.

제안 방법

• 형태와 물질을 별도의 잠재 공간으로 분리하는 분리된 GAN 기반 생성 모델을 사용하며, 각각 $G_{\theta_S}$ (MLP를 통한 형태)와 $G_{\theta_M}$ (최소 거리 이웃 보간을 사용한 3D 완전 컨volution 네트워크)를 사용하는 별도의 생성자로 구성된다.
• 형태 모델링은 20개의 심장 MRI 세그먼테이션에 대해 주성분 분석(PCA)을 적용하여 14개의 주성분을 가진 통계적 형태 모델을 학습하며, $s \approx \tilde{s} + \Phi b$로 표현된다.
• 물질 생성은 배치 정규화와 ReLU를 사용한 3D U-Net 유사 아키텍처를 사용하며, 카드보드 무늬 아티팩트를 방지하기 위해 최소 거리 이웃 보간을 사용하여 $16\times16\times16$ 볼륨을 생성한다.
• 반감독 학습은 사전 훈련된 특징에 맞춘 다변량 정규분포에서 샘플링된 잠재 벡터를 사용하며, 레이블이 있는 데이터와 없는 데이터에 대해 별도의 학습률을 적용한다.
• 연합 학습은 동기화된 기울기 집합을 통해 구현되며, 클라이언트는 국지적으로 훈련하고 기울기를 서버에 전송하며, 서버는 기울기를 평균화하여 글로벌 모델을 업데이트한다.
• 이 방법은 세 가지 변형을 포함한다: Ours-Fix-Mat(고정된 물질), Ours-Pre(형태 사전 훈련), Ours-Full(완전한 동시 훈련)이며, 일반화에 대한 분석을 포함한다.

실험 결과

연구 질문

• RQ1 원시 의료 영상을 공유하지 않고도 병원 간에 분할 일반화 성능을 향상시킬 수 있는 연합 시뮬레이션 프레임워크는 가능한가?
• RQ2 형태와 물질을 합성 데이터에서 분리하는 것이 다른 병원의 분포 외 환자 스캔을 처리하는 데 얼마나 효과적인가?
• RQ3 기울기 집합을 통한 제안된 연합 학습 설정이 중심화된 훈련과 유사한 성능을 달성하는가?
• RQ4 사전 훈련 및 분리 전략의 선택이 의료 영상에서의 분포 이탈에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 GAN을 통한 시뮬레이션된 병원 간 데이터 생성이 실제 도메인 이탈을 위한 실질적인 대체 수단이 될 수 있는가?

주요 결과

• Ours-Sim-FL은 CT34LC에서 87.95%의 평균 DICE, CT34MC에서 87.76%의 평균 DICE를 기록하여 직접적인 FL 기준선(각각 87.95% 및 87.95%)을 초월했다.
• Ours-Sim-FL은 CT34LC에서 87.95%의 평균 DICE, CT34MC에서 87.76%의 평균 DICE를 기록하여 새로운 병원에 대한 강력한 일반화 능력을 입증했다.
• Ours-Pre는 CT20에서 76.58%의 DICE를 기록하여 단일 병원 기준선인 72.56%를 초월했으며, 형태에 대한 사전 훈련의 유용성을 보여주었다.
• Ours-Full은 CT34MC에서 평균 85.93%의 DICE를 기록하여 형태와 물질 생성의 다양성과 일관성이 향상됨을 보여주었다.
• 분석 결과, 형태와 물질을 분리하는 것이 일반화 성능 향상에 기여하며, 모든 데이터셋에서 일관된 성능 향상이 관찰됨을 확인했다.
• 모든 분포 외 테스트 케이스에서 메서드가 베이스라인을 능가하거나 동등하게 성능을 내어, 분리된 시뮬레이션의 효과성을 검증했다.