[논문 리뷰] Test-Time Training for Deformable Multi-Scale Image Registration

Wentao Zhu, Yufang Huang외 4명|arXiv (Cornell University)|2021. 03. 25.

Medical Image Segmentation Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 비선형 변형이 심하고 노이즈가 많은 의료 영상에서 일반화 성능을 햖스키기 위해 다중 척도 딥 네트워크를 활용한 테스트 시점 훈련 프레임워크를 제안한다. 추론 중에 다중 척도에서 반복적으로 등록 필드를 개선함으로써, VoxelMorph 및 ANTs보다 분할 및 조밀한 추적 작업에서 뛰어난 정확도를 달성하며, 초음파 영상 시퀀스에서 ANTs 대비 20배 빠른 속도를 기록한다.

ABSTRACT

Registration is a fundamental task in medical robotics and is often a crucial step for many downstream tasks such as motion analysis, intra-operative tracking and image segmentation. Popular registration methods such as ANTs and NiftyReg optimize objective functions for each pair of images from scratch, which are time-consuming for 3D and sequential images with complex deformations. Recently, deep learning-based registration approaches such as VoxelMorph have been emerging and achieve competitive performance. In this work, we construct a test-time training for deep deformable image registration to improve the generalization ability of conventional learning-based registration model. We design multi-scale deep networks to consecutively model the residual deformations, which is effective for high variational deformations. Extensive experiments validate the effectiveness of multi-scale deep registration with test-time training based on Dice coefficient for image segmentation and mean square error (MSE), normalized local cross-correlation (NLCC) for tissue dense tracking tasks. Two videos are in https://www.youtube.com/watch?v=NvLrCaqCiAE and https://www.youtube.com/watch?v=pEA6ZmtTNuQ

연구 동기 및 목표

• 노이즈가 많거나 심한 변형이 있는 테스트 영상에서 일반화 성능이 떨어지는 딥 러닝 기반 영상 정렬의 도메인 이동 문제를 해결한다.
• 에코카디오그래피 및 3D MR 영상과 같은 과도한 임상 상황에서 비지도 딥 정렬의 강건성과 정확도를 향상시킨다.
• 테스트 시점 훈련을 통해 추론 중 모델 적응을 가능하게 하여 훈련 데이터와 테스트 데이터 간의 일반화 갭을 줄인다.
• 잔차 변형을 순차적으로 모델링하는 코arse-to-fine 다중 척도 최적화 전략을 통해 큰 복잡한 변형을 처리한다.
• 지표 변형 필드가 필요 없이도 이미지 분할 및 조밀한 조직 추적과 같은 후속 작업을 위한 고정밀 정렬을 달성한다.

제안 방법

• 딥 네트워크를 각 테스트 영상 쌍에 대해 자기지도 최적화를 사용하여 테스트 시점에 미세조정함으로써, 훈련 및 테스트 분포 간 도메인 이동을 줄인다.
• 코어스에서 피니어로의 순차적 접근을 통해 다중 해상도 수준에서 잔차 변형 필드를 추정하는 다중 척도 정렬 프레임워크를 설계한다. 이는 최적화의 안정성과 정확도 향상에 기여한다.
• 각 척도에서 잔차 변형 필드를 예측하기 위해 U-Net 아키텍처를 사용하며, 한 척도의 출력을 다음 척도의 입력으로 사용하여 점진적인 정밀화를 구현한다.
• 테스트 시점 최적화 중에 Dice 계수, MSE, 및 정규화된 局소 상관관계(NLCC)와 같은 유사도 측정 기준을 자기지도 신호로 사용한다.
• 네트워크 아키텍처 및 최적화 과정을 통해 덴드로이드 조건을 암묵적으로 통합하여 최종 변형 필드의 위상 일관성을 보장한다.
• 다양한 의료 영상에서 엔드 투 엔드 훈련을 수행한 후, 지표 변형 필드가 필요 없이 움직이는 이미지와 고정된 이미지 쌍만을 사용하여 테스트 시점 적응을 수행한다.

Figure 1: Framework of multi-scale deep registration networks with test-time training in scale $s$ .

실험 결과

연구 질문

• RQ1 테스트 시점 훈련이 노이즈가 많고 심한 변형이 있는 의료 영상에서 딥 러닝 기반 정렬의 일반화 성능을 크게 향상시킬 수 있는가?
• RQ2 다중 척도 잔차 변형 모델링은 큰 변형이 존재하는 상황에서 정렬의 정확도와 안정성을 어떻게 향상시키는가?
• RQ3 제안된 프레임워크는 VoxelMorph와 같은 기존의 비지도 학습 기반 방법과 ANTs와 같은 전통적 방법보다 분할 및 조밀한 추적 작업 모두에서 슈퍼어리어를 달성하는가?
• RQ4 테스트 시점 훈련의 계산 비용은 얼마이며, 임상 적용에 실용적으로 활용될 수 있는가?
• RQ5 코어스에서 피니어로의 다중 척도 전략은 복잡한 정렬 상황에서 최적화의 어려움을 줄이고 수렴을 향상시키는가?

주요 결과

• 제안된 다중 척도 정렬을 위한 테스트 시점 훈련(SSMSR)은 3D MR 영상에서 정렬 정확도를 크게 향상시켜, VoxelMorph 및 ANTs보다 분할 작업에서 더 높은 Dice 점수를 달성한다.
• 에코카디오그래픽 시퀀스에서 SSMSR은 VoxelMorph 및 ANTs보다 더 매끄럽고 해부학적으로 타당한 변형 필드를 생성하며, 혈류 추적에서 명확한 소용돌이 패턴을 식별할 수 있다.
• ANTS 대비 20배 빠른 속도를 기록하여, 단일 NVIDIA 1080 Ti GPU에서 49프레임의 초음파 시퀀스에 대해 총 테스트 시간이 9분 이내이다.
• 테스트 시점 훈련은 특히 노이즈가 많고 큰 변형이 있는 영상에서 훈련 성능과 테스트 성능 간 정확도 격차를 줄여주며, 정성적 및 정량적 비교를 통해 이를 입증한다.
• 다중 척도 잔차 접근법은 대규모 및 세밀한 속도 변화를 더 잘 모델링할 수 있었으며, 심장근육 운동 및 혈류 패턴의 향상된 시각화로 이를 입증한다.
• 밀도 있는 조직 추적 작업에서 MSE 및 정규화된 국소 상관관계(NLCC) 지표 모두에서 SSMSR은 VoxelMorph 및 ANTs를 일관되게 초월한다.

Figure 2: Reconstruction comparison for cardiac blood from test-time training based multi-scale registration (scale 1/8) w/o (first), i.e., VoxelMorph [ 34 ] , w/ (middle) test-time training and ground truth image (last column).