[논문 리뷰] CycleMorph: Cycle Consistent Unsupervised Deformable Image Registration

Boah Kim, Dong Hwan Kim외 4명|arXiv (Cornell University)|2020. 08. 13.

Medical Image Segmentation Techniques참고 문헌 35인용 수 13

한 줄 요약

CycleMorph는 전방 및 역방향 변형 장을 생성하기 위해 두 개의 U-Net 기반 네트워크를 사용하는 사이클 일致성, 비지도 딥 러닝 프레임워크를 제안한다. 이는 위상 구조를 유지함으로써 탄성 이미지 정렬을 수행한다. 전방 장으로 변형된 원본 이미지를 후방 장으로 다시 변형했을 때 원래 이미지에 가까워지도록 훈련시킴으로써, 이는 접힘 현상을 감소시키고 정확도를 향상시킨다. 2D 및 3D 의료 영상 작업(간 CT 및 뇌 MRI 포함)에서 초당 이하의 등록 시간을 달성하며 뛰어난 성능을 보였다.

ABSTRACT

Image registration is a fundamental task in medical image analysis. Recently, deep learning based image registration methods have been extensively investigated due to their excellent performance despite the ultra-fast computational time. However, the existing deep learning methods still have limitation in the preservation of original topology during the deformation with registration vector fields. To address this issues, here we present a cycle-consistent deformable image registration. The cycle consistency enhances image registration performance by providing an implicit regularization to preserve topology during the deformation. The proposed method is so flexible that can be applied for both 2D and 3D registration problems for various applications, and can be easily extended to multi-scale implementation to deal with the memory issues in large volume registration. Experimental results on various datasets from medical and non-medical applications demonstrate that the proposed method provides effective and accurate registration on diverse image pairs within a few seconds. Qualitative and quantitative evaluations on deformation fields also verify the effectiveness of the cycle consistency of the proposed method.

연구 동기 및 목표

• 기존의 딥 러닝 기반 이미지 정렬 방법이 변형 과정에서 해부학적 위상 구조를 유지하는 데에 한계가 있음을 해결하기 위해.
• 지표 변형 장이 필요 없이 위상 구조를 유지하는 정렬 방법을 개발하기 위해.
• 사이클 일치성을 암묵적 정규화로 활용하여 탄성 이미지 정렬의 정확도와 강인성을 향상시키기 위해.
• 다중 척도 구현을 통해 대용량 3D 정렬을 효율적으로 가능하게 하기 위해.

제안 방법

• 이 방법은 이미지 쌍에서 전방 및 역방향 변형 벡터 장을 학습하기 위해 두 개의 U-Net 기반 합성곱 신경망 $G_X$ 및 $G_Y$ 를 사용한다.
• 사이클 일치성은 $G_X$ 를 사용해 원본 이미지를 변형한 후 $G_Y$ 를 사용해 다시 변형했을 때 원래 이미지가 재구성되도록 네트워크를 훈련시킴으로써 강제한다.
• 손실 함수는 이미지 재구성 손실, 사이클 일치 손실 $\mathcal{L}_{cycle}$, 및 아이덴티티 손실 $\mathcal{L}_{identity}$ 를 조합하여 훈련을 안정화시키고 정밀도를 향상시킨다.
• 다중 척도 전략을 적용한다: 다운샘플된 볼륨에서의 굵은 정렬이 큰 변형을 처리하고, 그 다음 국소 정밀도 향상 단계를 거쳐 정확도를 향상시킨다.
• 이 프레임워크는 지표 변형 장이 필요 없이 이미지 쌍만으로도 종료형으로 훈련 가능한 비지도 방식이다.
• 이 방법은 2D 및 3D 정렬 작업 전반에 걸쳐 다양한 의료 및 비의료 영상 응용 분야에 적용 가능하며 유연하다.

실험 결과

연구 질문

• RQ1 이미지 공간에서의 사이클 일치성이 비지도 탄성 이미지 정렬에서 위상 보존을 향상시킬 수 있는가?
• RQ2 접힘 감소 및 정확도 향상 측면에서 사이클 일치성은 역방향 일치 제약 조건보다 어떻게 비교되는가?
• RQ3 GPU 메모리 제약 조건이 있음에도 불구하고, 제안된 방법이 대용량 3D 볼륨에서 고정밀도 정렬을 달성할 수 있는가?
• RQ4 다중 척도 구현이 계산 효율성과 정밀도 사이에 효과적으로 균형을 이루는가?

주요 결과

• CycleMorph는 다중 척도 3D 복부 CECT 정렬에서 전역 정렬 시간이 4초, 총 런타임이 41초로, Elastix의 20분 런타임보다 훨씬 빠르게 성능을 달성했다.
• 간 CT 데이터에서 CycleMorph는 양수가 아닌 자코비안 행렬식 값의 비율을 0.02%로 감소시켜 강력한 위상 보존 및 최소한의 접힘 현상을 나타냈다.
• 이 방법은 MS-DIRNet보다 종양 크기 차이에서 우수한 성능을 보였으며, 비교된 모든 방법 중에서 가장 작은 평균 차이를 기록하여 뛰어난 정확도를 확인했다.
• 아블레이션 연구에서 사이클 손실을 제외했을 경우, 음수가 아닌 자코비안 값 비율이 0.18%로 증가하여, 이 손실이 접힘 방지 및 위상 보존에 핵심적인 역할을 한다는 것을 확인했다.
• 단일 GPU에서의 추론 시간이 1분 이내로 구현되어 임상 적용에 매우 높은 계산 효율성을 보였다.
• 정성적 및 정량적 평가를 통해 CycleMorph는 2D 얼굴, 3D 뇌 MRI, 다단계 간 CECT를 포함한 다양한 이미지 쌍에서 정확하고 위상 보존 가능한 변형을 제공하는 것으로 확인되었다.