[논문 리뷰] Real-time 2D/3D Registration via CNN Regression

Shun Miao, Z. Jane Wang외 1명|arXiv (Cornell University)|2015. 07. 27.

Medical Image Segmentation Techniques참고 문헌 21인용 수 6

한 줄 요약

이 논문은 2D X-ray 및 3D 디지털로 재구성된 레이저도면(DRR) 영상에서 직접 변환 파라미터를 추정하기 위해 컨volutional 신경망(CNN) 회귀를 사용하는 실시간 2D/3D 정렬 방법을 제안한다. 이미지 외관 특징을 계층적이고 局소적으로 학습시킴으로써, 평균 실행 시간 0.08초 내에 밀리미터 이내의 정확도를 달성하며, 강도 기반 최적화 방법보다 크게 빠르면서도 최신 기술 수준의 방법과 비교해 유사한 정확도를 유지한다.

ABSTRACT

In this paper, we present a Convolutional Neural Network (CNN) regression approach for real-time 2-D/3-D registration. Different from optimization-based methods, which iteratively optimize the transformation parameters over a scalar-valued metric function representing the quality of the registration, the proposed method exploits the information embedded in the appearances of the Digitally Reconstructed Radiograph and X-ray images, and employs CNN regressors to directly estimate the transformation parameters. The CNN regressors are trained for local zones and applied in a hierarchical manner to break down the complex regression task into simpler sub-tasks that can be learned separately. Our experiment results demonstrate the advantage of the proposed method in computational efficiency with negligible degradation of registration accuracy compared to intensity-based methods.

연구 동기 및 목표

• 임상적 사용에 부적합할 정도로 느린 기존 최적화 기반 방법들로 인해 실시간 2D/3D 정렬 문제를 해결하기 위해.
• 반복적인 DRR 렲영 및 계산 비용이 큰 강도 기반 방법의 한계를 극복하기 위해.
• 특징 기반 방법에서 발생하는 오류를 줄이기 위해 특징 검출에 의존하는 것을 줄이고, 딥러닝을 활용해 변환 파라미터를 직접 회귀시키기 위해.
• 이미지 잔차를 변환 파라미터 보정으로 매핑하는 CNN을 학습시켜 실시간 고정확도 정렬을 가능하게 하기 위해.
• 딥러닝이 강도 기반 방법과 유사한 정확도를 달성하면서도 계산 효율성을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 2D/3D 정렬 문제를 회귀 문제로 포지셔닝하여, CNN 회귀기로 초기 파라미터와 진짜 값 사이의 차이를 예측한다.
• 변환 파라미터는 6개의 구성요소로 파arameter화되며, 3개의 평면 내(이동 및 회전)와 3개의 평면 외(이동 및 두 개의 회전)로 나뉘어 계층적 학습이 가능하도록 구성된다.
• 복잡한 회귀 작업을 단순화된 하위 작업들로 나누기 위해 DRR 및 X-ray 영상 쌍의 국소적 영상 패치에서 네트워크를 학습시킨다.
• 정의된 캡처 범위 내에서 예측된 값과 진짜 값 간의 오차를 최소화하는 손실 함수를 사용해 네트워크를 엔드 투 엔드로 학습시킨다.
• 세 단계의 계층적 추론 전략을 적용하여, 더粗화된 스케일에서부터 더 세밀한 스케일로 점진적으로 변환 추정치를 정밀하게 조정한다.
• Caffe를 통한 GPU 가속 추론을 사용하여 일관되고 낮은 지연 시간을 확보함으로써 실시간 응용에 적합한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 회귀 접근 방식이 강도 기반 최적화 방법과 유사한 정확도를 달성하면서도 실시간 2D/3D 정렬을 수행할 수 있는가?
• RQ2 MI 및 GC와 같은 유사도 측정 기반 전통적 강도 기반 정렬 방법과 비교해 CNN 기반 방법은 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 국소적 영상 패치에 대한 계층적 CNN 회귀는 반복 최적화에 의존하지 않고도 2D/3D 정렬의 정확도와 강건성을 향상시킬 수 있는가?
• RQ4 반복적인 유사도 기반 최적화를 직접적인 CNN 회귀로 대체할 경우, 정확도와 속도 사이의 상충 관계는 어떻게 되는가?
• RQ5 기존 방법의 캡처 범위 내에서 다양한 초기 변환 상태에서도 제안된 방법이 높은 정확도를 유지하는가?

주요 결과

• 제안된 CNN 기반 방법은 테스트 데이터셋에서 92.3%의 성공률을 기록했으며, 최신 기술 수준의 MI+GC 강도 기반 방법(92.7%)과 유사한 성능을 보였다.
• 투영 방향의 평균 목표 정렬 오차(mTREproj)는 제안된 방법에서 0.282 mm였고, MI+GC의 0.260 mm보다 略로 높았지만 여전히 임상적으로 허용 가능한 수준이었다.
• 등록당 평균 실행 시간은 0.08초였으며, MI(1.66 s), GC(3.91 s), MI+GC(4.71 s)보다 크게 빠르게 기록되었다.
• 실행 시간의 표준편차는 거의 0.00초였으며, 반복 횟수가 변동하는 강도 기반 방법과 달리 일관되고 실시간 성능을 보였다.
• GPU 가속을 통해 밀리초 이내의 추론 속도를 확보하여 실시간 영상 유도 수술에 적합한 성능을 확보했다.
• 결과적으로 CNN 회귀가 비용이 많이 드는 DRR 려상 려상 및 반복 최적화를 회피하는 데 효과적으로 이미지 외관 특징을 활용할 수 있음을 입증하며, 정확도 손실이 거의 없는 실시간 정렬을 가능하게 했다.