[논문 리뷰] Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network

Zizhao Zhang, Lin Yang외 1명|arXiv (Cornell University)|2018. 02. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 53

한 줄 요약

3D 엔드투엔드 GAN 프레임워크를 제안하여 교차 모달리티 의료 부피(CT/MRI)의 공동 번역과 사이클 및 형태 일관성 손실과 온라인 합성 데이터 증강을 도입해 분할을 개선한다.

ABSTRACT

Synthesized medical images have several important applications, e.g., as an intermedium in cross-modality image registration and as supplementary training samples to boost the generalization capability of a classifier. Especially, synthesized computed tomography (CT) data can provide X-ray attenuation map for radiation therapy planning. In this work, we propose a generic cross-modality synthesis approach with the following targets: 1) synthesizing realistic looking 3D images using unpaired training data, 2) ensuring consistent anatomical structures, which could be changed by geometric distortion in cross-modality synthesis and 3) improving volume segmentation by using synthetic data for modalities with limited training samples. We show that these goals can be achieved with an end-to-end 3D convolutional neural network (CNN) composed of mutually-beneficial generators and segmentors for image synthesis and segmentation tasks. The generators are trained with an adversarial loss, a cycle-consistency loss, and also a shape-consistency loss, which is supervised by segmentors, to reduce the geometric distortion. From the segmentation view, the segmentors are boosted by synthetic data from generators in an online manner. Generators and segmentors prompt each other alternatively in an end-to-end training fashion. With extensive experiments on a dataset including a total of 4,496 CT and magnetic resonance imaging (MRI) cardiovascular volumes, we show both tasks are beneficial to each other and coupling these two tasks results in better performance than solving them exclusively.

연구 동기 및 목표

• CT와 MRI 간의 번역을 위한 페어링된 교차 모달리티 의료 부피의 부족 문제를 해결한다.
• 번역 과정에서 해부학적 형태를 형태 일관성을 통해 보존하는 3D GAN 프레임워크를 개발한다.
• 합성 데이터를 활용해 분할 성능을 개선하기 위해 생성기와 분할기를 공동으로 학습한다.
• 온라인으로 합성 데이터를 사용하는 것이 번역 품질과 분할에서 오프라인 증강보다 우수하다는 것을 보여준다.
• 대규모 심혈관 CT/MRI 데이터셋에서 접근법을 검증해 번역과 분할의 상호 이점을 보여준다.

제안 방법

• 두 개의 생성기 G_A와 G_B를 사용해 교차 도메인 볼륨 번역을 수행하고 판별기 D_A와 D_B를 활용한다.
• 사이클-일관성 손실을 적용해 G_A(G_B(x_A)) ≈ x_A이고 G_B(G_A(x_B)) ≈ x_B를 보장한다.
• 전이된 데이터를 공유 형태 공간 Y로 매핑하고 교차 엔트로피 손실을 계산하기 위해 분할기 S_A와 S_B를 통해 형태-일관성 손실을 도입한다.
• 실재 데이터와 온라인 합성 데이터를 모두 사용해 분할기 S_A와 S_B를 학습시켜 분할을 강화한다(재구성된 합성 데이터 포함).
• 적대적 손실, 사이클-일관성 손실 및 형태-일관성 손실을 결합해 공동 목적 함수 L = L_GAN + L_GAN + λ L_cyc + γ L_shape로 정의한다.
• 생성기와 분할기가 서로를 보강하는 엔드-투-엔드 학습을 제공한다.

실험 결과

연구 질문

• RQ1 페어링되지 않은 CT와 MRI 데이터를 3D 부피에서 해부학적 형태를 보존하면서 모달리티 간 번역할 수 있는가?
• RQ2 형태 일관성 제약을 도입하면 사이클-일관성만으로 얻는 것보다 교차 모달 번역 품질이 개선되는가?
• RQ3 온라인 연동 학습 프레임워크에서 생성된 합성 데이터가 오프라인 증강보다 분할 성능을 더 향상시키는가?
• RQ4 생성기와 분할기를 공동으로 학습시키는 것이 번역 품질과 분할 정확도에 미치는 영향은 무엇인가?

주요 결과

방법	CT Dice (%)	MRI Dice (%)
Baseline (R)	67.8	70.3
ADA (R+S)	66.0	71.0
Ours (R+S)	74.4	73.2

• 형태 일관성이 번역 품질을 향상시켜 형태 품질 점수(S-score)가 형태 일관성이 없을 때보다 더 높다.
• 엔드-투-엔드 온라인으로 합성 데이터를 사용하면 기준치 및 오프라인 증강 대비 분할 성능이 크게 향상된다.
• 4,496개의 심혈관 CT/MRI 부피 데이터셋에서 합성 데이터를 사용할 때 CT 및 MRI 분할의 Dice 점수가 (74.4% CT, 73.2% MRI)로, 기준 및 ADA 기준치보다 높다.
• 형태-일관성 활성화 생성기 모델은 CycleGAN 기준보다 인공 부피에서 잡음이 적고 해부학적 보존이 더 좋다.
• 생성기와 분할기를 공동으로 학습시키는 것이 번역과 분할을 각각 해결하는 것보다 전반적으로 더 나은 결과를 낳는다.