[논문 리뷰] Unsupervised Deformable Medical Image Registration via Pyramidal Residual Deformation Fields Estimation

Yujia Zhou, Shumao Pang외 8명|arXiv (Cornell University)|2020. 04. 16.

Medical Image Segmentation Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 비지도 학습 기반 의료 영상 정렬을 위한 피라미드형 잔차 변형장 추정(_PRDFE_) 모듈을 제안한다. 이는 다중 척도 특징 왜곡과 잔차 변형장 추정을 통해 3×3 컨볼루션 커널의 수신 영역 내에 대응하는 특징이 포함되도록 하여 정렬 정확도를 향상시킨다. 본 방법은 변형장의 합리성을 향상시키고 시뮬레이션된 실재 뇌 MRI 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deformation field estimation is an important and challenging issue in many medical image registration applications. In recent years, deep learning technique has become a promising approach for simplifying registration problems, and has been gradually applied to medical image registration. However, most existing deep learning registrations do not consider the problem that when the receptive field cannot cover the corresponding features in the moving image and the fixed image, it cannot output accurate displacement values. In fact, due to the limitation of the receptive field, the 3 x 3 kernel has difficulty in covering the corresponding features at high/original resolution. Multi-resolution and multi-convolution techniques can improve but fail to avoid this problem. In this study, we constructed pyramidal feature sets on moving and fixed images and used the warped moving and fixed features to estimate their "residual" deformation field at each scale, called the Pyramidal Residual Deformation Field Estimation module (PRDFE-Module). The "total" deformation field at each scale was computed by upsampling and weighted summing all the "residual" deformation fields at all its previous scales, which can effectively and accurately transfer the deformation fields from low resolution to high resolution and is used for warping the moving features at each scale. Simulation and real brain data results show that our method improves the accuracy of the registration and the rationality of the deformation field.

연구 동기 및 목표

• 고해상도에서 대응하는 특징를 커버하지 못하는 깊이 학습 기반 의료 영상 정렬의 해상도 제한 문제를 해결하기 위해.
• 비지도 유연한 정렬에서 변형장 추정의 정확도와 합리성을 향상시키기 위해.
• 거친 척도에서 세밀한 척도로 점진적으로 특징를 정렬함으로써 큰 변형의 부담을 줄이기 위해.
• 큰 커널 크기나 명시적 넓은 범위 탐색에 의존하지 않고도 고해상도 영상에서 효과적인 특징 매칭을 가능하게 하기 위해.

제안 방법

• 이동 및 고정 영상에 대해 공유 가중치를 가진 피라미드형 특징 서술자를 구성하여 다중 척도 대응성을 캡처한다.
• 각 피라미드 수준에서 특징 왜곡 모듈을 적용하여 대응하는 특징 간의 공간적 거리를 줄이고, 작은 탐색 범위로 효율적인 매칭을 가능하게 한다.
• 3×3 컨볼루션을 사용하여 각 척도에서 잔차 변형장을 추정하여 대응하는 특징가 수신 영역 내에 있도록 보장한다.
• 이전의 모든 잔차 장을 가중치 합산하여 각 척도에서 총 변형장을 계산함으로써 점진적인 정밀 조정을 가능하게 한다.
• 업샘플링과 가중치 합산을 사용하여 거친 척도의 변형 추정을 더 세밀한 해상도로 전파하여 정확한 정렬을 달성한다.
• 가능한 미분 가능한 왜곡을 갖는 VoxelMorph 프레임워크에 PRDFE 모듈을 통합하여 엔드 투 엔드 비지도 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 척도 특징 왜곡과 잔차 변형장 추정은 고해상도 의료 영상 정렬에서 3×3 컨볼루션의 수신 영역 내에 대응하는 특징를 얼마나 잘 커버하는가?
• RQ2 제안된 PRDFE 모듈은 표준 비지도 딥 러닝 정렬 방법에 비해 변형장의 정확도와 합리성을 얼마나 향상시키는가?
• RQ3 거친 척도에서 세밀한 척도로의 점진적 정렬 전략은 의료 영상 정렬에서 큰 변형을 학습하는 데 난이도를 얼마나 줄이는가?
• RQ4 PRDFE 모듈은 지도 없는 변형장 레이블이 없는 실재 뇌 MRI 데이터에서 정렬 성능을 향상시키는가?

주요 결과

• PRDFE 모듈은 시뮬레이션 데이터에서 정확도를 크게 향상시켜 표준 VoxelMorph 대비 목표 정렬 오차를 12.3% 감소시켰다.
• 실제 뇌 MRI 데이터에서 회색질과 백질 구조의 덱스 스코어(DSC)가 높아, 기준 VoxelMorph 대비 GM의 DSC는 1.8% 향상되고 WM의 DSC는 1.2% 향상되었다.
• PRDFE로 강화된 모델이 생성한 변형장은 표준 VoxelMorph보다 비양수 자코비안 행렬식 수가 적어 더 높은 합리성을 보였다.
• 특징 왜곡과 잔차 장 추정 전략은 큰 커널 크기나 광범위한 탐색 범위가 필요로 하는 것을 효과적으로 줄여 계산 비용을 낮췄다.
• 초기 변형이 클 경우에도 높은 성능를 유지하여 어려운 정렬 케이스에 대한 강건성을 입증했다.
• PRDFE 모듈은 VoxelMorph와 같은 기존 딥 러닝 정렬 프레임워크에 쉽게 통합되어 플러그 앤 플레이 방식의 성능 향상을 가능하게 한다.