[논문 리뷰] 3D Reconstruction in Canonical Co-ordinate Space from Arbitrarily Oriented 2D Images

Benjamin Hou, Bishesh Khanal외 8명|arXiv (Cornell University)|2017. 09. 19.

Fetal and Pediatric Neurological Disorders참고 문헌 35인용 수 9

한 줄 요약

이 논문은 초기화가 필요 없이 강도 정보만을 사용하여 2D MRI 슬라이스를 정준 3D 앤트라스 공간으로 회귀시키는 딥러닝 방법인 SVRnet을 제안한다. 시뮬레이션 데이터에서 평균 7 mm의 공간 오차를 달성하며, 최소한의 수동 조작으로 태반 MRI에서 운동 보정 3D 재구성을 가능하게 한다.

ABSTRACT

Limited capture range, and the requirement to provide high quality initialization for optimization-based 2D/3D image registration methods, can significantly degrade the performance of 3D image reconstruction and motion compensation pipelines. Challenging clinical imaging scenarios, which contain significant subject motion such as fetal in-utero imaging, complicate the 3D image and volume reconstruction process. In this paper we present a learning based image registration method capable of predicting 3D rigid transformations of arbitrarily oriented 2D image slices, with respect to a learned canonical atlas co-ordinate system. Only image slice intensity information is used to perform registration and canonical alignment, no spatial transform initialization is required. To find image transformations we utilize a Convolutional Neural Network (CNN) architecture to learn the regression function capable of mapping 2D image slices to a 3D canonical atlas space. We extensively evaluate the effectiveness of our approach quantitatively on simulated Magnetic Resonance Imaging (MRI), fetal brain imagery with synthetic motion and further demonstrate qualitative results on real fetal MRI data where our method is integrated into a full reconstruction and motion compensation pipeline. Our learning based registration achieves an average spatial prediction error of 7 mm on simulated data and produces qualitatively improved reconstructions for heavily moving fetuses with gestational ages of approximately 20 weeks. Our model provides a general and computationally efficient solution to the 2D/3D registration initialization problem and is suitable for real-time scenarios.

연구 동기 및 목표

• 태반 MRI와 같은 운동으로 인한 손상이 심한 스캔에서 2D/3D 이미지 정렬의 낮은 캡처 범위와 초기화 민감성 문제를 해결한다.
• 수동으로 특징점 매칭이나 거친 초기화를 하지 않고도 2D 슬라이스에서 정준 3D 공간으로 직접 회귀하는 방법을 학습함으로써 초기화의 필요성을 제거한다.
• 태반 내에서의 영상 촬영과 같은 매우 운동에 의해 손상된 2D 촬영 데이터로부터도 3D 볼륨을 강건하게 재구성할 수 있도록 한다.
• 베이지안 딥러닝을 통한 불확실성 추정을 지원하는 실시간, 계산 효율적인 솔루션을 제공하여 슬라이스-볼륨 정렬을 가능하게 한다.
• 이미지 강도에서 직접 강체 변환을 예측함으로써 운동 보정 파ip라인의 완전 자동화를 가능하게 한다.

제안 방법

• 정준 앤트라스 좌표계에 대한 2D MRI 슬라이스의 3D 강체 변환(회전 및 이동)을 예측하기 위해 3D 컨volution 신경망(CNN)을 훈련한다.
• 예측의 효율성과 분류의 불균형을 줄이기 위해 변환 회귀에 올리어 각(parameterization)을 사용한다.
• 합성 운동 시뮬레이션에서 유도된 앵커 포인트 레이블에 대해 유클리드 거리를 주로 손실 함수로 사용하여 회귀를 수행한다.
• 예측된 변환과 진짜 값 간의 기하적 거리(지오데식 거리)를 계산하기 위해 리 군 기하학(SE(3))을 활용하여 정확한 불확실성 추정을 가능하게 한다.
• 몬테카를로 드롭아웃과 베이지안 추론을 적용하여 강체 변환 예측의 불확실성 추정을 수행하고, 후속 처리의 강건성을 지원한다.
• VGGNet, GoogLeNet 등의 다양한 아키텍처에서 성능을 평가하였으며, GoogLeNet은 VGGNet과 유사한 정확도를 보였지만 훈련 속도는 50% 빠르고 메모리 사용은 85% 낮아진다.

실험 결과

연구 질문

• RQ1 임의의 방향을 가진 2D MRI 슬라이스에 대해 공간 초기화 없이 정준 앤트라스 기준으로 3D 강체 변환을 예측할 수 있는가?
• RQ2 변환 매개변수화 방식(예: 올리어 각 vs. 이산 클래스)의 선택이 회귀 정확도와 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 모델은 태반 MRI와 같이 큰 운동 아티팩트가 있는 매우 운동에 의한 손상된 데이터에 얼마나 일반화되는가?
• RQ4 모델의 불확실성 추정은 특히 잘못 정렬된 또는 이상치 슬라이스를 처리할 때 후속 재구성 파이프라인의 강건성을 향상시키는 데 기여하는가?
• RQ5 정확도와 계산 효율성 측면에서 전통적인 최적화 기반 슬라이스-볼륨 정렬 방법과 비교해 모델 성능는 어떠한가?

주요 결과

• SVRnet는 합성 운동이 가미된 시뮬레이션 MRI 데이터에서 평균 7 mm의 공간 예측 오차를 달성하여 복잡한 운동 패tern에 대한 강력한 일반화 능력을 보였다.
• 실제 태반 MRI 스캔(임신 20주 정도)에서 심한 운동 손상이 있음에도 불구하고, 모델은 정성적으로 향상된 3D 재구성을 가능하게 했다.
• GoogLeNet은 VGGNet과 유사한 회귀 정확도를 달성했지만 훈련 시간은 50% 빠르고 메모리 사용은 85% 낮아져 반복 실험에 더 적합하다.
• SE(3) 리 군 위에서의 지오데식 거리 사용은 유클리드 거리 대비 변환 예측 오차 평가에 더 정확한 결과를 제공한다.
• 몬테카를로 드롭아웃을 통한 베이지안 추론은 변환 예측의 불확실성 추정을 가능하게 하여 재구성 파이프라인에서 이상치 거부에 강건성을 지원한다.
• 이 방법은 수동 전처리 및 초기화에 대한 의존도를 줄여, 태반 내 영상 촬영과 같은 도전적인 임상 상황에서 운동 보정 3D 재구성의 완전 자동화를 가능하게 한다.