[논문 리뷰] Networks for Joint Affine and Non-parametric Image Registration

Zhengyang Shen, Xu Han외 2명|arXiv (Cornell University)|2019. 03. 21.

Medical Image Segmentation Techniques참고 문헌 14인용 수 11

한 줄 요약

이 논문은 벡터 모멘텀 파arameterized 정적 속도 장치(vSVF) 모델을 통해 애핀 및 비모수적 영상 정렬을 동시에 학습하는 엔드 투 엔드 딥 러닝 프레임워크 AVSM을 제안한다. 이 방법은 다단계 애핀 네트워크를 거쳐 U-Net 유사 모멘텀 생성기와 자기 반복적 맵 기반 vSVF 구성요소를 거치며, 유의미하게 빠른 추론 속도와 향상된 변환 정규성(대칭 맵 포함)을 달성하면서도 최신 기술 수준의 정확도를 확보한다.

ABSTRACT

We introduce an end-to-end deep-learning framework for 3D medical image registration. In contrast to existing approaches, our framework combines two registration methods: an affine registration and a vector momentum-parameterized stationary velocity field (vSVF) model. Specifically, it consists of three stages. In the first stage, a multi-step affine network predicts affine transform parameters. In the second stage, we use a Unet-like network to generate a momentum, from which a velocity field can be computed via smoothing. Finally, in the third stage, we employ a self-iterable map-based vSVF component to provide a non-parametric refinement based on the current estimate of the transformation map. Once the model is trained, a registration is completed in one forward pass. To evaluate the performance, we conducted longitudinal and cross-subject experiments on 3D magnetic resonance images (MRI) of the knee of the Osteoarthritis Initiative (OAI) dataset. Results show that our framework achieves comparable performance to state-of-the-art medical image registration approaches, but it is much faster, with a better control of transformation regularity including the ability to produce approximately symmetric transformations, and combining affine and non-parametric registration.

연구 동기 및 목표

• 기존 최적화 기반 의료 영상 정렬 방법의 계산 병목 현상을 해결하기 위해.
• 기존 딥 러닝 정렬 접근법의 한계를 극복하기 위해, 사전 정렬에 의존하는 점, 3D에서의 메모리 제약, 반복적 정밀 조정의 부재를 해결하기 위해.
• 애핀 및 비모수적 정렬을 하나의 엔드 투 엔드 훈련 가능한 프레임워크로 통합하여 디퍼모르픽 성질을 유지하기 위해.
• 모멘텀 기반 속도 장치 모델링을 통해, 특히 큰 변형에 대해 변환의 부드러움과 정규성을 보장하기 위해.
• 공간 일致성 또는 대칭성에 손상을 주지 않으면서도 빠르고 고정확도의 3차원 정렬을 가능하게 하기 위해.

제안 방법

• 프레임워크는 세 단계로 구성된다: 초기 강체/애핀 변환 추정을 위한 다단계 애핀 네트워크.
• U-Net 유사 모멘텀 생성 네트워크는 저해상도의 초기 모멘텀 장을 예측하며, 이를 스무딩하여 속도 장을 생성한다.
• 자기 반복적 맵 기반 vSVF 구성요소는 변형 장의 조합을 통해 반복적으로 변환 맵을 향상시킴으로써 비모수적 정밀 조정을 수행한다.
• 전체 모델은 기울기 역전파가 가능한 이미지 재샘플링을 통해 엔드 투 엔드로 훈련되며, 정렬 과정 전파가 가능하다.
• 매개변수 예측과 부드러움을 분리하기 위해 벡터 모멘텀 파arameterization을 사용함으로써, 큰 이동 거리에서도 디퍼모르픽 맵을 보장한다.
• 맵 조합을 사용하여 중복된 이미지 보간을 방지함으로써 효율성과 수치적 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 엔드 투 엔드 방식으로 애핀 및 비모수적 정렬을 동시에 최적화하면서도 변환 정규성을 유지할 수 있는가?
• RQ2 벡터 모멘텀 파arameterization의 사용이 결과 변환의 부드러움과 디퍼모르픽 성질을 향상시키는가?
• RQ3 애핀 및 vSVF 단계에서의 다단계 정밀 조정이 계산 비용 증가 없이 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 최적화 기반 및 딥 러닝 기반 정렬 방법과 비교해 정확도와 속도 측면에서 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 종단 간 및 크로스 스브젝트 MRI 정렬에서 대략적으로 대칭적인 변환을 얼마나 잘 생성하는가?

주요 결과

• AVSM 프레임워크는 OAI 무릎 MRI 데이터셋에서 최신 기술 수준의 최적화 기반 방법과 유사한 정확도를 달성한다.
• 기존 반복 최적화 방법보다 유의미하게 빠르며, 훈련 후 단일 프로퍼그레이션으로 정렬을 완료한다.
• 큰 변형이나 해부학적 일관성 없는 영역에서도 접힘 아티팩트가 최소화되어 변환 맵의 높은 정규성이 유지된다.
• 다단계 vSVF 정밀 조정은 단계별로 정확도를 점진적으로 향상시키며, 높은 Dice 스코어에서 포화 상태에 도달한다.
• 프레임워크는 종단 간 연구 및 군 분석에 매우 중요한 대칭 변환을 약간의 근사로 생성한다.
• 모멘텀 기반 vSVF 모델은 매개변수 예측과 부드러움을 분리함으로써, 큰 이동 거리에서도 매끄럽고 디퍼모르픽 맵을 보장한다.