[논문 리뷰] F3RNet: Full-Resolution Residual Registration Network for Multimodal Image Registration

Zhe Xu, Jie Luo외 3명|arXiv (Cornell University)|2020. 09. 15.

Medical Image Segmentation Techniques참고 문헌 17인용 수 4

한 줄 요약

F3RNet는 병렬 스트림을 통해 전체 해상도 특징 학습과 다중 척도 잔차 표현을 결합하는 새로운 비지도 학습 프레임워크로, 병변이 심하게 변형된 복부 기관, 특히 정렬이 어려운 국소 영역에서 3초 미만의 추론 시간과 뛰어난 정확도를 달성한다.

ABSTRACT

PURPOSE: Multimodal deformable image registration is essential for many image-guided therapies. Recently, deep learning approaches have gained substantial popularity and success in deformable image registration. Most deep learning approaches use the so-called mono-stream “high-to-low, low-to-high” network structure, and can achieve satisfactory overall registration results. However, accurate alignments for some severely deformed local regions, which are crucial for pinpointing surgical targets, are often overlooked, especially for multimodal inputs with vast intensity differences. Consequently, these approaches are not sensitive to some hard-to-align regions, e.g., intra-patient registration of deformed liver lobes. METHODS: We propose a novel unsupervised registration network, namely Full-Resolution Residual Registration Network (F3RNet), for multimodal registration of severely deformed organs. The proposed method combines two parallel processing streams in a residual learning fashion. One stream takes advantage of the full-resolution information that facilitates accurate voxel-level registration. The other stream learns the deep multi-scale residual representations to obtain robust recognition. We also factorize the 3D convolution to reduce the training parameters and enhance network efficiency. RESULTS: We validate the proposed method on 50 sets of clinically acquired intra-patient abdominal CT-MRI data. Experiments on both CT-to-MRI and MRI-to-CT registration demonstrate promising results compared to state-of-the-art approaches. CONCLUSION: By combining the high-resolution information and multi-scale representations in a highly interactive residual learning fashion, the proposed F3RNet can achieve accurate overall and local registration. The run time for registering a pair of CT-MRI images is less than 3 seconds using a GPU. In future works, we will investigate how to cost-effectively process high-resolution information and fuse multi-scale representations.

연구 동기 및 목표

• 병변이 심하게 변형된 기관(예: 간엽)에 대해 다중 모달리즘 변형 영상 정렬에서 국소 정렬의 정확도가 떨어지는 문제를 해결하기 위해.
• CT와 MRI 간 강한 강도 차이를 보이는 정렬이 어려운 영역에 대한 민감도를 향상시키기 위해.
• 고해상도 공간적 세부 정보를 유지하면서도 강력한 다중 척도 특징을 캡처할 수 있는 경량이고 효율적인 네트워크를 개발하기 위해.
• 성능을 저하시키지 않은 채 모델 복잡도와 학습 파라미터를 줄이기 위해 분해된 3D 컨볼루션을 활용하기 위해.

제안 방법

• F3RNet는 이중 스트림 아키텍처를 활용한다: 한 스트림은 정밀한 볼륨 수준 정렬을 위해 전체 해상도 특징을 유지하고, 다른 스트림은 강력한 특징 이해를 위한 깊은 다중 척도 잔차 표현을 학습한다.
• 두 스트림은 잔차 학습을 통해 융합되어 상호 기반 특징 정밀화 및 향상된 표현 학습을 가능하게 한다.
• 3D 컨볼루션은 파라미터 수를 줄이고 학습 효율성을 향상시키기 위해 깊이별 분리형 컨볼루션으로 분해된다.
• 모델은 지도 학습이 아닌, 변형된 이동 영상과 고정 영상 간의 유사도 손실을 사용하여 비지도 방식으로 학습되며, 실제 변형 필드가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 전체 해상도 및 다중 척도 특징을 결합한 이중 스트림 네트워크 아키텍처가 다중 모달리즘 CT-MRI 영상에서 국소 정렬 정확도를 향상시킬 수 있는가?
• RQ2 고해상도 스트림과 다중 척도 스트림 간의 잔차 학습이 심하게 변형된 영역에서 정렬을 어떻게 향상시키는가?
• RQ3 분해된 3D 컨볼루션은 성능을 유지하면서 모델 복잡도를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 임상용 3D 복부 스캔에서 1쌍당 3초 이내의 실시간 추론을 달성할 수 있는가?

주요 결과

• F3RNet는 환자 내부 복부 CT-MRI 데이터 50세트에 대해 CT-to-MRI 및 MRI-to-CT 정렬 모두에서 최신 기술(SOTA) 수준의 성능을 달성했다.
• 특히 간엽과 같은 도전적인 영역에서 심하게 변형된 국소 영역에서 뛰어난 정확도를 보였다.
• GPU를 사용하여 단일 CT-MRI 쌍의 정렬을 3초 미만으로 완료하여 높은 계산 효율성을 입증했다.
• 분해된 3D 컨볼루션의 사용으로 학습 파라미터 수가 크게 감소했으며, 이는 높은 정렬 정확도를 유지하는 데 기여했다.