[논문 리뷰] FIRE: Unsupervised bi-directional inter-modality registration using deep networks

Chengjia Wang, Giorgos Papanastasiou외 4명|arXiv (Cornell University)|2019. 07. 11.

Medical Image Segmentation Techniques참고 문헌 11인용 수 12

한 줄 요약

이 논문은 양방향, 역-일致적인 다중 모odal 이미지 정렬을 위한 새로운 비지도 딥러닝 프레임워크인 FIRE를 제안한다. 이 프레임워크는 애자일 변형과 비선형 변형을 동시에 학습한다. 모odal에 의존하지 않는 잠재 표현과 사이클-일치하는 합성 기반으로, 다중 시퀀스 뇌 MRI 및 4D 심장 씨네-MRI에서 최신 기술 수준의 성능을 달성하며, 특히 IR-FLAIR 정렬 과제에서 Dice 점수 0.69로 ANTs-SyN을 능가한다.

ABSTRACT

Inter-modality image registration is an critical preprocessing step for many applications within the routine clinical pathway. This paper presents an unsupervised deep inter-modality registration network that can learn the optimal affine and non-rigid transformations simultaneously. Inverse-consistency is an important property commonly ignored in recent deep learning based inter-modality registration algorithms. We address this issue through the proposed multi-task architecture and the new comprehensive transformation network. Specifically, the proposed model learns a modality-independent latent representation to perform cycle-consistent cross-modality synthesis, and use an inverse-consistent loss to learn a pair of transformations to align the synthesized image with the target. We name this proposed framework as FIRE due to the shape of its structure. Our method shows comparable and better performances with the popular baseline method in experiments on multi-sequence brain MR data and intra-modality 4D cardiac Cine-MR data.

연구 동기 및 목표

• 딥러닝 기반의 다중 모달 정렬에서 역-일치성의 부족으로 인한 해부학적 위상 보존의 손상을 해결하기 위해.
• 지표가 없는 상태에서 최적의 애자일 및 비선형 변형을 동시에 학습할 수 있는 통합 프레임워크를 개발하기 위해.
• T1, FLAIR, IR 뇌 MRI 시퀀스와 같이 매우 다를 수 있는 모달 간 정렬의 강건성을 향상시키기 위해.
• 수동 애너테이션 또는 사전 정렬된 데이터 없이 이미지 강도 및 공간 일관성만을 사용하여 비지도 학습을 가능하게 하기 위해.
• IR-FLAIR와 같이 도전적인 다중 모달 쌍에서 성능을 향상시키기 위한 새로운 아키텍처와 정규화를 도입하기 위해.

제안 방법

• FIRE 모델은 입력 이미지 x^A와 x^B에서 모달에 의존하지 않는 특징을 추출하기 위해 공유 합성 인코더 G를 사용한다.
• 두 개의 합성 디코더 F^{A→B}와 F^{B→A}가 공유된 특징에서 다중 모달 합성 이미지를 생성한다.
• 두 개의 변형 네트워크 T^{A→B}와 T^{B→A}가 인코딩된 특징을 사용하여 정방향 및 역방향 변형 장을 예측한다.
• 모델은 φ^{A→B}와 φ^{B→A}가 상호 간에 일치하도록 보장하는 손실을 최소화하여 역-일치성을 강제한다.
• 합성된 이미지에 사이클-일치하는 adversarial 손실을 적용하여 특징 정렬 및 모달 전이 품질을 향상시킨다.
• 예측된 애자일 변형을 활용하여 비선형 정렬의 안정성을 높이는 새로운 정규화를 도입한다.

실험 결과

연구 질문

• RQ1 지표가 없는 상태에서 비지도 딥러닝 모델이 지표가 없는 변형 없이 다중 모달 MRI에서 역-일치 정렬을 달성할 수 있는가?
• RQ2 단일 네트워크가 양방향으로 동시에 애자일 및 비선형 변형을 최적화할 수 있는가?
• RQ3 모달 불변 특징 학습이 다중 모달 합성 및 정렬 정확도를 향상시키는가?
• RQ4 기존 방법이 실패하는 매우 다를 수 있는 모달, 예를 들어 IR과 FLAIR 간 정렬에서 제안된 방법의 성능은 어떠한가?
• RQ5 제안된 아키텍처가 3D 뇌 MRI 및 4D 심장 MRI 데이터셋 양쪽에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MRBrainS T1-FLAIR 3D 정렬에서 FIRE는 뇌 줄기(BS)에서 Dice 점수 81.08을 기록하여 ANTs-SyN(79.77)을 능가했다.
• 3D에서 백질(WHM)의 경우 FIRE는 Dice 점수 72.56을 기록하여 ANTs-SyN(72.33)보다 略적으로 높았다.
• 도전적인 IR-FLAIR 정렬 과제에서 FIRE는 Dice 점수 0.69를 기록했고, ANTs-SyN은 명확한 정렬을 생성하지 못해 0.4 이하의 점수를 기록했다.
• 2D T1-FLAIR 정렬에서 FIRE는 BS에서 Dice 점수 80.68, WHM에서 84.18을 기록했으며, ANTs-SyN(각각 78.73 및 81.36)을 능가했다.
• ACDC 4D 심장 씨네-MRI에서 FIRE는 좌심실 내피막(LVe)에서 Dice 점수 90.08을 기록했고, ANTs-SyN(90.81)과 유사한 성능를 보였다.
• 특히 2D T1-FLAIR 케이스에서 뇌외 공간의 체액 둘레의 정렬이 눈에 띄게 향상되었음을 시각적으로 확인했다.