[논문 리뷰] Non-rigid image registration using fully convolutional networks with deep self-supervision

Hongming Li, Yong Fan|arXiv (Cornell University)|2017. 09. 04.

Medical Image Segmentation Techniques참고 문헌 17인용 수 74

한 줄 요약

이 논문은 다중 해상도 프레임워크 내에서 딥 셀프-슈퍼비전으로 이미지 쌍 간의 공간 변환을 직접 추정하는 비강체 이미지 정합에 대한 fully convolutional network (FCN) 접근법을 제시한다.

ABSTRACT

We propose a novel non-rigid image registration algorithm that is built upon fully convolutional networks (FCNs) to optimize and learn spatial transformations between pairs of images to be registered. Different from most existing deep learning based image registration methods that learn spatial transformations from training data with known corresponding spatial transformations, our method directly estimates spatial transformations between pairs of images by maximizing an image-wise similarity metric between fixed and deformed moving images, similar to conventional image registration algorithms. At the same time, our method also learns FCNs for encoding the spatial transformations at the same spatial resolution of images to be registered, rather than learning coarse-grained spatial transformation information. The image registration is implemented in a multi-resolution image registration framework to jointly optimize and learn spatial transformations and FCNs at different resolutions with deep self-supervision through typical feedforward and backpropagation computation. Since our method simultaneously optimizes and learns spatial transformations for the image registration, our method can be directly used to register a pair of images, and the registration of a set of images is also a training procedure for FCNs so that the trained FCNs can be directly adopted to register new images by feedforward computation of the learned FCNs without any optimization. The proposed method has been evaluated for registering 3D structural brain magnetic resonance (MR) images and obtained better performance than state-of-the-art image registration algorithms.

연구 동기 및 목표

• 딥 러닝을 이용한 비강체 이미지 정합의 모티브를 제시하여 이미지 쌍 간의 공간 변환을 직접 추정한다.
• 전체 이미지 해상도에서 변환을 학습하는 FCN 기반 프레임워크를 제안한다.
• 다중 해상도 최적화와 딥 셀프-슈퍼비전을 통합하여 변환과 인코딩 네트워크를 공동으로 학습한다.
• 이미지 쌍의 즉시 정합을 가능하게 하고 이미지 세트 간의 정합 학습을 촉진한다.

제안 방법

• 이미지와 같은 해상도에서 공간 변환을 인코딩하기 위해 fully convolutional networks를 사용한다.
• 학습을 안내하기 위해 고정 이미지와 변형된 이동 이미지 간의 이미지 유사성을 최적화한다.
• 변환과 FCN을 점진적으로 다듬기 위한 다중 해상도 정합 프레임워크를 구현한다.
• 이미지 유사도 지표에서 파생된 셀프-슈퍼비전 신호로 역전파를 통해 학습한다.
• 훈련된 FCN이 반복적 최적화 없이 새 이미지 쌍에 직접 적용될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 FCN이 이미지 쌍의 비강체 정합을 위한 고충실도, 전체 해상도 공간 변환을 학습할 수 있는가?
• RQ2 딥 셀프-슈퍼비전을 활용한 다중 해상도 학습이 단일 해상도 접근보다 정합 정확도를 향상시키는가?
• RQ3 정합 모델이 추가 최적화 없이 feedforward 계산을 통해 새로운 이미지 쌍을 정합하는 데 사용할 수 있는가?

주요 결과

• 3D 구조 뇌 MR 이미지에서 최첨단 정합 알고리즘에 비해 우수한 성능을 입증한다.
• 다중 해상도에서 변환과 FCN의 동시 최적화가 정확한 정합을 낳는다는 것을 보인다.
• 훈련된 FCN이 추가 최적화 없이 feedforward 계산으로 새로운 이미지 쌍을 정합할 수 있음을 검증한다.