[논문 리뷰] Metric-Driven Learning of Correspondence Weighting for 2-D/3-D Image Registration

Roman Schaffert, Jian Wang외 3명|arXiv (Cornell University)|2018. 06. 20.

Robotics and Sensor-Based Localization참고 문헌 12인용 수 5

한 줄 요약

이 논문은 수정된 PointNet 아키텍처를 사용하여 2D/3D 영상 정합을 위한 최적의 대응 가중치를 학습하기 위한 메트릭 기반 딥러닝 접근법을 제안한다. 점대평면 운동 추정과 정합 오차 계산을 조합한 손실 함수를 사용해 엔드 투 엔드로 네트워크를 훈련시킴으로써, 단일 척추 정합에서 0.74 ± 0.26 mm의 정확도, 94.3%의 성공률, 13 mm의 캡처 범위를 달성하였으며, 개별 대응에 대한 지도 레이블이 필요하지 않은 기존 기반 방법에 비해 유의미하게 높은 강인성 향상을 보였다.

ABSTRACT

Registration of pre-operative 3-D volumes to intra-operative 2-D X-ray images is important in minimally invasive medical procedures. Rigid registration can be performed by estimating a global rigid motion that optimizes the alignment of local correspondences. However, inaccurate correspondences challenge the registration performance. To minimize their influence, we estimate optimal weights for correspondences using PointNet. We train the network directly with the criterion to minimize the registration error. We propose an objective function which includes point-to-plane correspondence-based motion estimation and projection error computation, thereby enabling the learning of a weighting strategy that optimally fits the underlying formulation of the registration task in an end-to-end fashion. For single-vertebra registration, we achieve an accuracy of 0.74$\pm$0.26 mm and highly improved robustness. The success rate is increased from 79.3 % to 94.3 % and the capture range from 3 mm to 13 mm.

연구 동기 및 목표

• 외부 대응이 존재하는 상황에서 2D/3D 강체 영상 정합의 강인성과 정확도를 향상시키기 위해.
• 대응 가중치 네트워크 훈련 시 개별 대응에 대한 지도 레이블이 필요 없도록 하기 위해.
• 전체 정합 오차를 훈련 기준으로 사용해 대응 가중치 전략을 직접 최적화하기 위해.
• 기본적인 점대평면 대응(PPC) 정합 공식과 호환되는 엔드 투 엔드 학습을 통해 대응 가중치를 학습하기 위해.
• 이미지 콘텐츠 불일치 및 열악한 영상 품질이 존재하는 임상 상황에서 정합의 캡처 범위와 성공률을 향상시키기 위해.

제안 방법

• 지역적 대응을 영상 강도 및 기하적 성질에서 유도된 특징을 갖는 점군으로 간주한다.
• 대응 간의 전역적 상호의존성을 학습하고 개별 대응 가중치를 예측하기 위해 수정된 PointNet 아키텍처를 사용한다.
• 훈련 목표 함수는 점대평면 운동 추정과 정합 오차 계산을 조합하여 가중치 전략의 엔드 투 엔드 최적화를 가능하게 한다.
• 운동 추정 및 투영 단계를 거쳐 역전파가 가능한 미분 가능 공식을 사용해 최종 정합 오차를 최소화하도록 네트워크를 훈련시킨다.
• 다중 해상도 프레임워크를 사용해 단일 척추 2D/3D 정합에 대해 평가하며, 성능 평가 기준으로는 mRPD, 성공률, 캡처 범위를 사용한다.
• PPC 정합 파이프라인에 통합되었으며, PPC, PPC-R, PPC-L과 같은 기반 방법과의 비교 및 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 개별 대응에 대한 지도 레이블이 없이도 2D/3D 정합을 위한 최적의 대응 가중치를 학습할 수 있는가?
• RQ2 정합 오차 기반 목표 함수를 사용한 엔드 투 엔드 훈련이 히وري스틱 또는 반복적 재가중 기반 방법에 비해 강인성과 정확도를 향상시키는가?
• RQ3 PointNet 기반 아키텍처는 지역적 대응 간의 전역적 의존성을 효과적으로 모델링하여 정합 성능을 향상시킬 수 있는가?
• RQ4 학습된 가중치 전략은 수렴 속도와 강인성 측면에서 정규화 기반 운동 추정에 비해 어떻게 비교되는가?
• RQ5 어려운 임상 상황에서 높은 정확도를 유지하면서도 캡처 범위와 성공률을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 단일 척추 정합에서 평균 정합 정확도 0.74 ± 0.26 mm를 달성하여 높은 정밀도를 보였다.
• 성공률은 기반 방법인 PPC의 79.3%에서 94.3%로 상승하여 강인성 향상이 뚜렷하게 나타났다.
• 캡처 범위는 3 mm에서 13 mm로 확장되어 더 큰 初기 자세 오차에서도 신뢰할 수 있는 정합을 가능하게 하였다.
• 성공률 및 수렴 효율 측면에서 모두 PPC-R(정규화된) 및 PPC-L(학습된) 기반 방법보다 뛰어났다.
• PPC-L+는 96.1%의 성공률과 19 mm의 캡처 범위를 기록하였으며, 평균 7.6회 반복으로 수렴하여 효율성이 향상됨을 보였다.
• 모델은 시각화된 그림 3c에서 일관된 대응을 효과적으로 식별하고 외곽선을 억제하는 데 성공하였다.