[논문 리뷰] Unsupervised Deformable Image Registration Using Cycle-Consistent CNN

Boah Kim, Jieun Kim외 4명|arXiv (Cornell University)|2019. 07. 02.

Medical Image Segmentation Techniques참고 문헌 14인용 수 13

한 줄 요약

이 논문은 다단계 간판 간염 CT 스캔을 위한 사이클 일관성 있는 컨volution 신경망(CNN)을 사용한 비지도 3D 변형 이미지 정렬 방법을 제안한다. 정방향 및 역방향 변형 장치 간의 사이클 일관성을 강제함으로써, 10초 이내에 위상 구조를 유지하면서 정확한 정렬을 달성하였으며, 잭소니안 행렬 보존 및 종양 크기 추정 정확도 측면에서 기존 비지도 방법보다 뛰어나다.

ABSTRACT

Medical image registration is one of the key processing steps for biomedical image analysis such as cancer diagnosis. Recently, deep learning based supervised and unsupervised image registration methods have been extensively studied due to its excellent performance in spite of ultra-fast computational time compared to the classical approaches. In this paper, we present a novel unsupervised medical image registration method that trains deep neural network for deformable registration of 3D volumes using a cycle-consistency. Thanks to the cycle consistency, the proposed deep neural networks can take diverse pair of image data with severe deformation for accurate registration. Experimental results using multiphase liver CT images demonstrate that our method provides very precise 3D image registration within a few seconds, resulting in more accurate cancer size estimation.

연구 동기 및 목표

• 기존 비지도 딥 러닝 방법이 3D 변형 이미지 정렬에서 겪는 한계, 특히 접힘 아티팩트와 위상 보존 성능 부족 문제를 해결하기 위해.
• 지표 변형 장치가 필요 없이도 역방향 일관성과 위상 정합성을 보장하는 방법을 개발하기 위해.
• 단일 트레이닝된 네트워크를 사용해 어떤 다단계 간장 CT 이미지 쌍이라도 빠르고 정확하게 정렬할 수 있도록 하기 위해.
• 동적 대조 강화 CT에서의 잘못된 정렬을 최소화하여 종양 크기 추정의 진단 정확도를 향상시키기 위해.
• 기존의 Elastix와 같은 전통적 방법에 비해 계산 시간을 단축시키기 위해.

제안 방법

• 이 방법은 이미지 A에서 B로의 변형을 위한 네트워크(G_AB)와 B에서 A로의 변형을 위한 네트워크(G_BA)를 포함한 두 개의 3D U-Net 기반 네트워크를 사용한다. 이 두 네트워크는 엔드 투 엔드로 동시에 학습된다.
• 공간 변환 네트워크는 예측된 변형 장치를 적용하여 움직이는 이미지를 고정된 이미지 쪽으로 왜곡시키며, 강도의 비유사도를 최소화한다.
• 사이클 일관성은 변형된 이미지에 다시 역방향 변형 장치를 적용하여 원래의 움직이는 이미지와 유사한 출력이 나오도록 강제함으로써 확보된다.
• 손실 함수는 이미지 유사도(MSE), 사이클 일관성 손실(재구성 오차), 및 아이덴티티 손실을 조합하여 학습 안정성과 위상 보존을 향상시킨다.
• 학습은 고정된 학습률 0.0001과 배치 크기 1로 단일 GPU에서 Adam 옵티마이저를 사용하여 수행된다.
• 학습 후에는 새로운 이미지 쌍에 대한 추론을 위해 단일 네트워크만 필요하며, 이로 인해 10초 이내의 빠른 추론이 가능하다.

실험 결과

연구 질문

• RQ1 이중 네트워크 CNN 아키텍처에서 사이클 일관성이 3D 변형 이미지 정렬의 위상 보존에 기여하는가?
• RQ2 사이클 일관성을 통한 역방향 일관성 강제가 접힘 아티팩트와 잭소니안 행렬 위반을 줄이는가?
• RQ3 단일 트레이닝된 네트워크가 재학습 없이도 임의의 다단계 간장 CT 이미지 쌍에 일반화 가능한가?
• RQ4 제안된 방법이 감독 및 비지도 기준 대비 목표 정렬 오차(TRE) 및 종양 크기 추정 정확도에서 어떻게 성능을 내는가?
• RQ5 제안된 방법의 추론 속도는 Elastix와 같은 전통적 정렬 도구와 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 동맥기에서 문맥기로의 정렬에서 평균 목표 정렬 오차(TRE)가 4.91 mm였고, 지연기에서 문맥기로의 정렬에서는 3.76 mm였으며, VoxelMorph-1을 뛰어나고 Elastix에 가까운 성능을 보였다.
• 지연기에서 문맥기로의 정렬에서, 변형된 이미지와 고정된 이미지 간 종양 크기의 차이가 주축 기준 0.59 mm, 보조축 기준 0.43 mm로 최소화되어 진단 정확도가 뛰어나다는 것을 보여주었다.
• 비양수 잭소니안 행렬을 가진 볼륨의 비율은 동맥기에서 문맥기로의 정렬 시 1.75%, 지연기에서 문맥기로의 정렬 시 1.81%로 감소하여 강력한 위상 보존 성능을 입증하였다.
• 원래 이미지와 재변형된 이미지 간의 정규화된 평균 제곱 오차(NMSE)는 각각 0.0277과 0.0199였으며, 효과적인 사이클 일관성을 확인하였다.
• 추론 시간은 이미지 쌍당 단지 10초였고, Elastix의 약 19.64분 대비 118배 빠른 속도를 기록하여 빠른 처리 능력을 입증하였다.
• 제거 실험 결과, 사이클 손실 또는 아이덴티티 손실을 제거할 경우 성능 저하가 발생하여, 이 손실들이 안정성 및 위상 보존에 핵심적인 역할을 한다는 점을 입증하였다.