[논문 리뷰] Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning

Arnab Kumar Mondal, José Dolz외 1명|arXiv (Cornell University)|2018. 10. 29.

Advanced Neural Network Applications참고 문헌 10인용 수 121

한 줄 요약

이 논문은 Few-shot 3D 다중 모달 뇌 MRI 분할을 수행하기 위해 반지도 GAN 기반 방법을 제시하고, 라벨이 몇 명의 대상자만 있더라도 unlabeled data와 generator를 사용해 거의 전체 감독 성능에 가까운 성능을 달성합니다.

ABSTRACT

We address the problem of segmenting 3D multi-modal medical images in scenarios where very few labeled examples are available for training. Leveraging the recent success of adversarial learning for semi-supervised segmentation, we propose a novel method based on Generative Adversarial Networks (GANs) to train a segmentation model with both labeled and unlabeled images. The proposed method prevents over-fitting by learning to discriminate between true and fake patches obtained by a generator network. Our work extends current adversarial learning approaches, which focus on 2D single-modality images, to the more challenging context of 3D volumes of multiple modalities. The proposed method is evaluated on the problem of segmenting brain MRI from the iSEG-2017 and MRBrainS 2013 datasets. Significant performance improvement is reported, compared to state-of-art segmentation networks trained in a fully-supervised manner. In addition, our work presents a comprehensive analysis of different GAN architectures for semi-supervised segmentation, showing recent techniques like feature matching to yield a higher performance than conventional adversarial training approaches. Our code is publicly available at https://github.com/arnab39/FewShot_GAN-Unet3D

연구 동기 및 목표

• 매우 적은 수의 라벨링 예제를 가진 3D 다중 모달 의학 영상의 분할을 다룬다.
• 대립적 학습(adversarial learning)을 활용하여 비라벨링 패치와 합성 패치를 이용해 overfitting을 방지한다.
• 3D에서의 반지도 분할을 위해 (feature matching을 포함한) 다양한 GAN 아키텍처를 평가한다.
• 뇌 MRI 데이터셋(iSEG-2017 및 MRBrainS 2013)에서 성능 향상을 입증한다.

제안 방법

• GAN 기반 프레임워크를 통해 라벨링된, 비라벨링된, 그리고 가짜 샘플을 처리하도록 분할 네트워크를 확장한다.
• (K+1) 출력의 판별기를 사용하고, (K+1)번째 클래스가 가짜 패치에 해당하도록 설정하며, 효과적인 K 출력을 얻기 위해 재파라미터화를 적용한다.
• 세 가지 손실로 학습한다: L_labeled(라벨링된 데이터에 대한 표준 교차 엔트로피), L_unlabeled(비라벨링 데이터에서 현실적인 출력을 유도), L_fake(생성기가 현실적이되 다양한 가짜 패치를 생성하도록 유도).
• 3D 패치 기반 설계의 생성기와 생성된 패치를 잠재 잡음으로 역매핑하는 인코더를 채택하여 안정적인 학습을 위한 Feature Matching (FM) 손실을 가능하게 한다.
• 분포 커버리지와 엔트로피 기반 향상을 연구하기 위해 보완(나쁜) 생성기 변형을 구현하고; FM GAN과 이 변형을 비교한다.
• GAN 학습을 위한 아키텍처 조정을 가진 3D U-Net을 판별기로 사용한다(가중치 정규화, Leaky ReLU, 평균 풀링).
• 메모리 관리를 위해 3D 부피를 32x32x32 패치로 처리하고 반지도 학습 체제로 엔드 투 엔드로 학습한다.
• N4 바이어스 보정 및 강도 정규화로 데이터 전처리; Adam(lr=1e-4) 및 배치 크기 30으로 학습한다.

실험 결과

연구 질문

• RQ1 GAN 기반의 반지도 학습이 매우 적은 수의 라벨링 대상에서 정확한 3D 다중 모달 뇌 MRI 분할을 가능하게 하는가?
• RQ2 비라벨링 데이터와 생성기를 도입하는 것이 한정된 데이터로의 완전한 감독 학습에 비해 일반화 및 과적합 감소에 기여하는가?
• RQ3 다양한 GAN 변형들(표준 대립, 특징 일치, 보완/나쁜 생성기)이 3D 다중 모달 설정에서 분할 성능에 어떤 영향을 미치는가?
• RQ4 FM GAN이 반지도 3D 의료 영상 분할에서 bad-GAN보다 우수한가?
• RQ5 제안된 방법들이 데이터셋(iSEG-2017 영아 뇌 MRI 및 MRBrainS 2013 성인 뇌 MRI) 간에 일반화되는가?

주요 결과

• FM GAN은 소수 샷 시나리오(1–2개의 라벨링 예제)에서 기본 U-Net을 크게 능가한다.
• 피처 매칭(FM GAN)이 테스트된 GAN 변형들 중 가장 뛰어난 분할 성능을 보인다.
• 충분한 비라벨링 데이터가 사용되면 FM GAN이 완전 감독에 근접한 성능을 달성하고, 여러 설정에서 표준 감독 U-Net보다 우수한 성능을 보인다.
• iSEG-2017 및 MRBrainS 2013에서 본 방법은 Baselines에 비해 Dice 점수를 개선하고 표면 거리 지표를 감소시켜 교차 데이터셋 적용 가능성을 보여준다.
• 보완(나쁜) 생성기는 이 작업에서 FM GAN보다 효과적이지 않지만 분포 커버리지와 학습 안정성에 대한 통찰을 제공한다.