[논문 리뷰] Generative Adversarial Networks for MR-CT Deformable Image Registration

Christine Tanner, Fırat Özdemir외 4명|arXiv (Cornell University)|2018. 07. 19.

Medical Image Segmentation Techniques참고 문헌 5인용 수 47

한 줄 요약

요약: 이 논문은 변형 가능한 등록을 위해 cycle-GAN 기반 MR-CT 합성을 평가하고, 합성이 공간상의 대응을 보존하거나 저해할 수 있음을 발견했다; 복부 등록은 최첨단 다중 모달 방법과 대등하게 맞출 수 있지만, 흉부 결과는 폐 부피 편향으로 인해 악화된다.

ABSTRACT

Deformable Image Registration (DIR) of MR and CT images is one of the most challenging registration task, due to the inherent structural differences of the modalities and the missing dense ground truth. Recently cycle Generative Adversarial Networks (cycle-GANs) have been used to learn the intensity relationship between these 2 modalities for unpaired brain data. Yet its usefulness for DIR was not assessed. In this study we evaluate the DIR performance for thoracic and abdominal organs after synthesis by cycle-GAN. We show that geometric changes, which differentiate the two populations (e.g. inhale vs. exhale), are readily synthesized as well. This causes substantial problems for any application which relies on spatial correspondences being preserved between the real and the synthesized image (e.g. plan, segmentation, landmark propagation). To alleviate this problem, we investigated reducing the spatial information provided to the discriminator by decreasing the size of its receptive fields. Image synthesis was learned from 17 unpaired subjects per modality. Registration performance was evaluated with respect to manual segmentations of 11 structures for 3 subjects from the VISERAL challenge. State-of-the-art DIR methods based on Normalized Mutual Information (NMI), Modality Independent Neighborhood Descriptor (MIND) and their novel combination achieved a mean segmentation overlap ratio of 76.7, 67.7, 76.9%, respectively. This dropped to 69.1% or less when registering images synthesized by cycle-GAN based on local correlation, due to the poor performance on the thoracic region, where large lung volume changes were synthesized. Performance for the abdominal region was similar to that of CT-MRI NMI registration (77.4 vs. 78.8%) when using 3D synthesizing MRIs (12 slices) and medium sized receptive fields for the discriminator.

연구 동기 및 목표

• cycle-GAN을 사용하여 다른 모달리티에서 하나의 모달리티를 합성할 때 MR-CT 변형 가능한 이미지 등록(DIR)을 동기 부여하고 평가한다.
• 합성 이미지에서 판별자 수용 범위(receptive field)를 축소해 기하학적 정합성 저하를 완화할 수 있는지 조사한다.
• 합성 MR/CT를 이용한 DIR 성능을 Thorax 및 Abdomen ROI에서 강력한 다중 모달 DIR 기준치(NMI, MIND, NMI+MIND)와 비교 평가한다.
• 지역 크기와 합성 파라미터가 등록 결과에 어떤 영향을 미치는지 examines한다.
• cycle-GAN으로 인한 공간적 편향을 피하기 위해 모달리티 데이터 세트의 균형 조정에 대한 지침을 제공한다.

제안 방법

• 2D 잔차형 cycle-GAN으로 MR은 CT에서, CT는 MR에서 합성하는 PatchGAN 판별기를 사용하는 방법을 채택한다.
• 모달리티당 17명의 비대칭(subjects)으로 학습하고 흉부와 복부 ROI에 대해 3D 합성을 평가한다.
• 주기적 L1 항을 포함하는 가중치 목표를 갖는 사이클 제약 손실을 도입한다(lambda_cyc = 10).
• NMI와 MIND 불일치를 결합한 다중 모달 DIR 프레임워크(ourDIR)로 CT/MR 및 합성 이미지를 등록한다.
• 변위 벡터의 정합화 초기화는 강체(regid)로 시작하고, 변형 가능 등록은 전체 변화량(TV) 또는 L2 정규화를 사용한다.
• 기하학적 일관성에 미치는 영향을 연구하기 위해 판별자 수용 필드 크기(P×P 패치)를 실험한다.

실험 결과

연구 질문

• RQ1 cycle-GAN으로 합성된 MR/CT 이미지가 표준 다중 모달 DIR 측정치에 비해 정확한 MR-CT 변형 가능 등록을 가능하게 하는가?
• RQ2 영역 크기와 판별자 수용 필드가 합성 이미지의 기하학적 일관성 및 등록 정확도에 어떤 영향을 미치는가?
• RQ3 NMI와 MIND의 조합이 단일 모달 또는 합성 기반 접근법보다 DIR을 개선하는가?
• RQ4 합성 이미지를 사용할 때 흉부와 복부의 영역별 DIR 성능 차이는 어떠한가?

주요 결과

• 합성 MR/CT를 이용한 등록은 영역에 따라 비대칭 데이터 기반의 다중 모달 방법과 일치하거나 그에 못 미칠 수 있다; 복부에서 합성 데이터의 성능은 CT-MR NMI 결과에 근접한다(약 77.4–78.8% Dice 범위).
• 흉부 등록은 cycle-GAN으로 인해 폐 부피 편향으로 인해 합성 이미지에서 현저한 저하를 보인다.
• NMI와 MIND의 결합(NMI+MIND)은 흉부와 복부에서 경쟁력 있는 결과를 제공하며, 초기 그래디언트 기반 가중치(beta ≈ 0.8)에서 최상의 성능을 보인다.
• CT에서 3D MR 합성 및 MR에서 3D CT 합성을 수행할 때는 영역 처리가 중요하며, 특히 작은 ROI 깊이(C=3)에서 불일치하는 폐 윤곽과 슬라이스 간 불일치가 발생할 수 있다.
• 얕은 판별자(P=34)는 폐의 부정합을 줄일 수 있지만 합성 품질을 저하시킬 수 있어 현실성(reality)과 기하학적 충실도 사이의 트레이드오프를 시사한다.