[논문 리뷰] GAN Based Medical Image Registration

Dwarikanath Mahapatra|arXiv (Cornell University)|2018. 05. 07.

Medical Image Segmentation Techniques참고 문헌 78인용 수 15

한 줄 요약

이 논문은 반복 최적화를 거치지 않는 빠르고 정확한 다중모odal 의료 영상 정렬을 위한 GAN 기반 엔드 투 엔드 딥 러닝 방법을 제안한다. 조건부 GAN과 사이클릭 일致성, 변형 필드의 역가능성 제약 조건을 결합함으로써 모델은 1초 이내에 고해상도의 정렬된 영상과 변형 필드를 생성하며, 망막 및 심장 MRI 데이터셋에서 속도, 정확도, 모odal 차이에 대한 강건성 면에서 최신 기술들을 능가한다.

ABSTRACT

Conventional approaches to image registration consist of time consuming iterative methods. Most current deep learning (DL) based registration methods extract deep features to use in an iterative setting. We propose an end-to-end DL method for registering multimodal images. Our approach uses generative adversarial networks (GANs) that eliminates the need for time consuming iterative methods, and directly generates the registered image with the deformation field. Appropriate constraints in the GAN cost function produce accurately registered images in less than a second. Experiments demonstrate their accuracy for multimodal retinal and cardiac MR image registration.

연구 동기 및 목표

• 반복적이고 전통적인 딥 러닝 기반 영상 정렬 방법의 한계를 해결하기 위해, 이는 느리고 복잡한 최적화가 필요하기 때문이다.
• 생성 적대적 네트워크(GANs)를 활용해 다중모달 의료 영상의 엔드 투 엔드, 반복 없는 정렬을 가능하게 하기 위해.
• VGG 특징 손실, SSIM, 변형 필드의 역가능성과 같은 새로운 제약 조건을 통합함으로써 정확도와 현실감을 향상시키기 위해.
• 새로운 영상 쌍에 대해 재학습이 필요 없이 다양한 영상 모달 간에 강건한 성능을 달성하기 위해.
• 모든 영상이 기준 영상 또는 플로ating 영상이 될 수 있는 단일 패assing 정렬을 가능하게 하여 유연성을 높이기 위해.

제안 방법

• 모델은 플로ating 영상을 고정된 기준 영상에 정렬된 영상으로 매핑하는 조건부 GAN(cGAN) 프레임워크를 사용한다.
• 생성자는 정규화된 상호정보(NMI), 구조적 유사성(SSIM), VGG 특징 손실, 적대적 손실을 조합한 복합 손실 함수를 사용하여 구조적 및 강도의 일치성을 보장한다.
• 변형 필드의 역가능성은 주요 제약 조건으로서 현실적이고 매끄러운 변형을 보장하여 비현실적인 왜곡을 방지한다.
• 사이클릭 일치성은 변형 필드가 역행 가능하도록 하여 정렬된 출력의 타당성을 향상시킨다.
• 신소재 변형을 사용한 쌍체의 다중모달 영상에 대해 비지도 학습 방식으로 훈련되어, 새로운 모달 조합으로의 일반화가 가능하다.
• 모델은 단일 순방향 전파에서 정렬된 영상과 변형 필드를 동시에 출력하여 반복적 보정이 필요 없게 한다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법이 반복 최적화 없이 정확한 엔드 투 엔드 다중모달 의료 영상 정렬을 달성할 수 있는가?
• RQ2 변형 필드의 역가능성 및 VGG/SSIM 손실과 같은 제약 조건은 기존 딥 러닝 방법에 비해 정렬 품질과 현실감을 어떻게 향상시키는가?
• RQ3 조건부 및 사이클릭 GAN 구성 요소를 활용함으로써, 재학습 없이도 새로운 영상 모달에 일반화할 수 있는가?
• RQ4 속도와 정확도 측면에서 GAN 기반 방법이 최신 딥 러닝 및 전통적인 반복 정렬 기법과 비교해 어떻게 성능을 내는가?
• RQ5 어떤 정도로 제안된 방법은 낮은 대trast 또는 다중모달 의료 영상에서 해부학적 구조를 유지하고 정렬 오차를 줄이는가?

주요 결과

• 제안된 GAN 기반 방법인 GAN_Reg는 망막 후면도 및 FA 영상 정렬에서 0.946의 Dice 스코어를 기록하여 DIRNet(0.911)과 Elastix(0.874)를 크게 앞서며 뛰어난 성능을 보였다.
• GAN_Reg는 변형 오차(Err_Def)를 5.7로 줄였으며, Elastix(12.1)와 GAN_Reg-nCyc(9.1)에 비해 유의미하게 향상된 변형 일관성의 이점을 입증했다.
• 망막 영상에서 평균 절대 차이(MAD)는 3.1로, DIRNet(5.0), Elastix(8.7), GAN_Reg-nCyc(7.2)보다 낮아 공간 정확도 면에서 뛰어난 성능을 보였다.
• 심장 MRI에서 GAN_Reg는 Dice 스코어 0.85와 HD_95 3.9를 기록하여 DIRNet(0.80, 5.03)과 Elastix(0.77, 5.21)를 능가했으며, 인fer 시간은 0.8초였다.
• 모델은 영상 쌍당 1초 이내에 영상을 정렬하여 Elastix(15.1초)보다 훨씬 빠르며, 다른 딥 러닝 기준과 유사한 속도를 기록했고, 뛰어난 정확도를 유지했다.
• 재학습 없이도 단일 모달 동적 심장 MRI에 잘 일반화되어 다양한 해부학적 구조와 영상 특성 간에 강건함을 입증했다.