[논문 리뷰] Temporal Interpolation via Motion Field Prediction

Lin Zhang, Neerav Karani외 2명|arXiv (Cornell University)|2018. 04. 12.

Advanced MRI Techniques and Applications참고 문헌 28인용 수 10

한 줄 요약

이 논문은 4차원(MRI) 재구성에서 시간 간섭을 위한 운동장 예측 기반 컨볼루션 신경망(MFIN)을 제안하며, 직접적인 강도 공간 간섭보다 영상 정밀도를 향상시킨다. 학습된 운동장으로 이미지 변화를 모델링함으로써 MFIN은 기준 방법보다 해부학적 구조를 더 잘 유지하고, 등록이 필요한 수를 절반으로 줄여 재구성 시간을 단축시키며, 평균 14.06%의 SSIM과 평균 0.37mm의 기준 운동 오차를 달성하여 뛰어난 구조 일致성을 확보한다.

ABSTRACT

Navigated 2D multi-slice dynamic Magnetic Resonance (MR) imaging enables high contrast 4D MR imaging during free breathing and provides in-vivo observations for treatment planning and guidance. Navigator slices are vital for retrospective stacking of 2D data slices in this method. However, they also prolong the acquisition sessions. Temporal interpolation of navigator slices an be used to reduce the number of navigator acquisitions without degrading specificity in stacking. In this work, we propose a convolutional neural network (CNN) based method for temporal interpolation via motion field prediction. The proposed formulation incorporates the prior knowledge that a motion field underlies changes in the image intensities over time. Previous approaches that interpolate directly in the intensity space are prone to produce blurry images or even remove structures in the images. Our method avoids such problems and faithfully preserves the information in the image. Further, an important advantage of our formulation is that it provides an unsupervised estimation of bi-directional motion fields. We show that these motion fields can be used to halve the number of registrations required during 4D reconstruction, thus substantially reducing the reconstruction time.

연구 동기 및 목표

• 자유호흡 4차원 MRI에서 내비게이터 촬영 시간을 단축시키되 재구성 정확도를 떨어뜨리지 않기 위해.
• 일반적인 강도 공간 간섭 방식은 자주 흐릿하거나 구조를 잃는 영상을 생성하므로 이를 해결하기 위해.
• 운동장 사전 지식을 활용하여 간섭 정밀도를 향상시키고 비지도 운동 추정을 가능하게 하기 위해.
• 이미지 등록이 필요한 수를 절반으로 줄여 4차원 재구성의 계산 비용을 감소시키기 위해.

제안 방법

• 연속된 내비게이터 슬라이스 사이의 운동장을 예측할 수 있도록 훈련된 CNN 기반의 운동장 간섭 네트워크(MFIN)를 개발한다.
• 다수의 내비게이터 영상을 입력으로 받아 이방향 운동장을 예측하여 누락된 프레임을 간섭한다.
• 예측된 운동장을 사용해 인접한 영상을 왜곡함으로써 간섭 영상을 생성하며, 이로써 영상 구조를 유지한다.
• 지식 기반 운동장이 없이도 내비게이터 영상만을 사용해 엔드 투 엔드로 훈련함으로써 비지도 운동 추정을 가능하게 한다.
• 운동장을 사용해 4차원 재구성에서 필요한 등록 수를 절반으로 줄인다.
• L2와 SSIM의 두 가지 손실 함수를 평가하였으며, SSIM 기반 훈련이 더 뛰어난 구조 유지 성능을 보였다.

실험 결과

연구 질문

• RQ1 직접적인 강도 공간 간섭과 비교해 운동장 예측이 4차원 MRI의 시간 간섭 정밀도를 향상시킬 수 있는가?
• RQ2 운동장 사전 지식을 통합함으로써 간섭 영상에서 구조 흐림을 줄이고 해부학적 세부 구조를 유지할 수 있는가?
• RQ3 예측된 운동장은 4차원 재구성에서 필요한 이미지 등록 수를 줄이는 데 사용될 수 있는가?
• RQ4 MFIN의 성능은 기준 CNN(SCIN)과 비교해 구조 유사도와 운동 정확도 측면에서 어떻게 다른가?
• RQ5 MFIN을 통한 비지도 운동장 추정은 후속 재구성에 유용하고 일관된 운동장을 제공하는가?

주요 결과

• MFINc-SSIM는 평균 SSIM 79.87%를 기록하여, 더 높은 RMSE를 보이지만 SCIN-SSIM(82.72%)보다도 더 뛰어난 구조 일치성을 보였다. 이는 더 나은 구조 정밀도를 의미한다.
• MFINc-SSIM의 RMSE는 평균 10.28로, SCIN-SSIM(9.05)보다 높았지만, 이는 구조 손상이 아닌 노이즈 전파를 반영한 것이다.
• 고운동 상태에서 MFINc-SSIM은 간과 폐 구조를 더 잘 유지한 채 날카운 영상을 생성했고, 반면 SCIN은 흐릿한 결과를 보였다.
• MFINc의 운동장 오차(RefMotErrFl)는 평균 0.82mm로, 정확한 운동 추정을 의미하며, 골드스탠다드 등록보다 더 날카운 운동 경계를 보였다.
• 이 방법은 4차원 재구성에서 필요한 등록 수를 50% 감소시켜 계산 비용을 크게 낮췄다.
• 정성적 비교에서 MFINc는 고운동 상태(예: 그림 4의 케이스 2)에서 SCIN을 능가했으며, SCIN은 핵심 해부학적 구조를 놓쳤다.