[논문 리뷰] Predicting Slice-to-Volume Transformation in Presence of Arbitrary Subject Motion

Benjamin Hou, Amir Alansary외 7명|arXiv (Cornell University)|2017. 02. 28.

Fetal and Pediatric Neurological Disorders참고 문헌 13인용 수 5

한 줄 요약

이 논문은 2D MRI 및 CT 슬라이스에서 3D 슬라이스-볼륨 변환을 예측하기 위해 컨볼루션 신경망(CNNs) 기반의 딥러닝 회귀 방법을 제안한다. 이는 강도 기반 2D/3D 정렬의 정확한 초기화를 가능하게 하며, 시뮬레이션된 뇌 MRI에서 평균 예측 오차 7mm를 달성하고, 심한 운동이 있는 경우에도 고품질의 태반 MRI 재구성에 기여한다. 추론 시간은 슬라이스당 10ms 미만이다.

ABSTRACT

This paper aims to solve a fundamental problem in intensity-based 2D/3D registration, which concerns the limited capture range and need for very good initialization of state-of-the-art image registration methods. We propose a regression approach that learns to predict rotation and translations of arbitrary 2D image slices from 3D volumes, with respect to a learned canonical atlas co-ordinate system. To this end, we utilize Convolutional Neural Networks (CNNs) to learn the highly complex regression function that maps 2D image slices into their correct position and orientation in 3D space. Our approach is attractive in challenging imaging scenarios, where significant subject motion complicates reconstruction performance of 3D volumes from 2D slice data. We extensively evaluate the effectiveness of our approach quantitatively on simulated MRI brain data with extreme random motion. We further demonstrate qualitative results on fetal MRI where our method is integrated into a full reconstruction and motion compensation pipeline. With our CNN regression approach we obtain an average prediction error of 7mm on simulated data, and convincing reconstruction quality of images of very young fetuses where previous methods fail. We further discuss applications to Computed Tomography and X-ray projections. Our approach is a general solution to the 2D/3D initialization problem. It is computationally efficient, with prediction times per slice of a few milliseconds, making it suitable for real-time scenarios.

연구 동기 및 목표

• 최신 강도 기반 2D/3D 정렬 방법의 제한된 캡처 범위와 낮은 초기화 민감도 문제를 해결하기 위해.
• 특히 태반 MRI와 같은 도전적인 임상 상황에서, 임의의 환자 운동이 존재하는 상황에서도 자동으로 실시간으로 2D/3D 정렬을 초기화하기 위해.
• 수동 또는 특징점 기반 초기화에 의존하지 않는 일반화 가능하고 계산적으로 효율적인 슬라이스-볼륨 정렬 솔루션을 제공하기 위해.
• 디지털로 재구성된 레이저(DRR)의 변환을 예측함으로써 X-ray/CT 정렬로의 적용 가능성을 확장하기 위해.
• 특정 장기나 모ality에 맞게 미세조정 없이도 다양한 영상 시나리오에서 우수한 성능을 보여주도록 하기 위해.

제안 방법

• 2D 슬라이스의 정렬 매개변수(회전 및 이동)를 기준 약도 좌표계에 대해 예측하는 CNN 회귀 모델인 SVRNet을 개발한다.
• 다양한 방향과 위치를 갖는 샘플을 생성하기 위해 피보나치 구 표본을 사용하여 3D 볼륨에서 추출한 합성 2D 슬라이스를 기반으로 네트워크를 훈련시킨다.
• 입력 슬라이스는 일관된 강도 범위, 간격, 이동 오프셋을 유지하기 위해 정규화 및 사전 처리된다.
• 예측된 변환은 후속 강도 기반 2D/3D 정렬(SVR)의 초기화에 사용되며, 수렴성과 정확도를 향상시킨다.
• 투영 영상으로 일반화하기 위해, 2D X-ray 유사 투영에서 DRR(Digitally Reconstructed Radiograph) 변환을 예측하는 방식으로 적용된다.
• 훈련에는 60개의 성인 흉부 CT 스캔 데이터셋을 사용하였으며, 훈련에 51개, 검증에 9개를 할당하였고, 강건성 평가를 위해 병변이 있는 볼륨도 포함되었다.

실험 결과

연구 질문

• RQ1 심한 운동 조건에서도 강도 정보만으로 딥러닝 모델이 2D MRI 슬라이스의 3D 공간 변환을 정확하게 예측할 수 있는가?
• RQ2 기존 방법에 비해 제안된 CNN 기반의 회귀 접근법이 2D/3D 정렬의 캡처 범위와 강건성에 뚜렷한 향상을 이룰 수 있는가?
• RQ3 모달리티 특화 재훈련 없이도 저선량 CT 및 X-ray/CT 정렬에 효과적으로 적용될 수 있는가?
• RQ4 기존 방법이 실패하는 경우, 고도로 운동에 의한 손상이 발생한 태반 MRI 재구성에서 이 방법이 어떻게 성능을 발휘하는가?
• RQ5 모델이 다양한 해부학적 영역과 영상 프로토콜 간에 얼마나 잘 일반화되는가?

주요 결과

• 심한 무작위 운동이 있는 성인 뇌 필라멘트에서 추출한 시뮬레이션된 2D MRI 슬라이스에서 평균 예측 오차가 7mm를 기록하였다.
• 태반 MRI 데이터에서, 기존의 슬라이스-볼륨 정렬이 운동 아티팩트로 인해 실패하는 상황에서도 이 방법이 고품질의 3D 재구성 가능성을 보였다.
• 저선량 흉부 CT에서, 후속 SVR 정밀조정과 결합했을 때 재구성 볼륨의 PSNR가 28dB에 도달하였다.
• 2D 투영에서 DRR 변환을 예측할 경우, 건강한 환자에서는 평균 이동 오차 106mm, 5.6°의 회전 오차를 기록하였고, 병변이 있는 경우는 각각 130mm 및 7.0°의 오차를 기록하였다.
• 예측 추론 시간은 슬라이스당 10ms 미만으로, 임상 워크플로우에서 실시간 구현이 가능하다.
• 모델은 다양한 영상 모달리티 간에 잘 일반화되며, 초기 훈련 이후 장기 또는 모달리티 특화 미세조정이 필요하지 않다.