[논문 리뷰] 3D Convolutional Neural Networks Image Registration Based on Efficient Supervised Learning from Artificial Deformations

Hessam Sokooti, Bob D. de Vos외 6명|arXiv (Cornell University)|2019. 08. 27.

Medical Image Segmentation Techniques참고 문헌 26인용 수 40

한 줄 요약

이 논문은 인공 변위 벡터 필드(DVFs)로 감독된 3D CNN 기반의 비강체 이미지 정합 방법 RegNet을 제시하고, 흉부 CT 데이터 세트에서 평가하여 다단 구성의 빠른 추론과 약 2–3 mm의 TRE를 제공합니다.

ABSTRACT

We propose a supervised nonrigid image registration method, trained using artificial displacement vector fields (DVF), for which we propose and compare three network architectures. The artificial DVFs allow training in a fully supervised and voxel-wise dense manner, but without the cost usually associated with the creation of densely labeled data. We propose a scheme to artificially generate DVFs, and for chest CT registration augment these with simulated respiratory motion. The proposed architectures are embedded in a multi-stage approach, to increase the capture range of the proposed networks in order to more accurately predict larger displacements. The proposed method, RegNet, is evaluated on multiple databases of chest CT scans and achieved a target registration error of 2.32 $\pm$ 5.33 mm and 1.86 $\pm$ 2.12 mm on SPREAD and DIR-Lab-4DCT studies, respectively. The average inference time of RegNet with two stages is about 2.2 s.

연구 동기 및 목표

• 수동 바삭한 복셀 단위 기준 Ground Truth 없이도 인공 생성 DVF를 이용한 감독 학습으로 강 robust 비강체 이미지 정합을 가능하게 하는 동기 부여 및 체계화.
• 큰 변위를 포착 범위를 확장하고 정합을 개선하기 위한 다단 정합 프레임워크 개발.
• 효율적인 3D DVF 예측을 위한 세 가지 네트워크 아키텍처(U-Net 기반, 다중 뷰, U-Net Advanced)의 탐구 및 비교.
• SPREAD, DIR-Lab-4DCT, DIR-Lab-COPDgene 데이터베이스에서 RegNet을 평가하고 기존 elastix 기반 정합과 비교.
• 실용적 사용에 적합한 추론 시간의 가능성 시연

제안 방법

• 단일 주파수, 혼합 주파수, 호흡 움직임의 세 가지 범주의 인공 DVF를 생성하고 항등 DVF를 포함하여 조밀하고 감독된 학습 대상을 생성합니다.
• 시뮬레이션된 호흡 모션 및 강도 모델로 인공 DVF를 보강하여 현실적인 학습 쌍을 생성합니다.
• 다단 파이프라인에서 세 가지 RegNet 아키텍처(U-Net, Multi-View, U-Net Advanced)를 평가하고 대략 1/4, 1/2, 전체 해상도까지 축소하여 큰 변위를 포착합니다.
• 예측 DVF와 기준 DVF 간 허버 손실과 만곡 에너지 정규화를 함께 사용하여 매끄러움을 촉진하며 학습합니다.
• 랜드마크에 대한 TRE 및 국소 부피 변화를 모니터링하기 위한 Jacobian 통계로 성능을 측정합니다.

실험 결과

연구 질문

• RQ1 인공 DVF에 대한 조밀한 감독 학습이 수동적인 voxel 단위 ground truth 없이도 정확한 비강체 정합을 가능하게 할 수 있는가?
• RQ2 다단 정합 파이프라인이 흉부 CT 정합에서 큰 변위의 포착 범위와 정확성을 향상시키는가?
• RQ3 어떤 RegNet 아키텍처(U-Net, Multi-View, U-Net Advanced)가 3D DVF 예측에서 정확도, 메모리, 추론 시간의 최적 균형을 제공하는가?
• RQ4 RegNet은 SPREAD, DIR-Lab-4DCT, DIR-Lab-COPDgene 데이터셋에서 기존 elastix 기반 정합 및 다른 CNN 기반 방법과 비교하면 어떤가?
• RQ5 흡입-호기 데이터세트에서 호흡 모션 보강의 포함이 정합 정확도에 어떤 영향을 미치는가?

주요 결과

• RegNet은 두 단계 구성(및 관련 변형)을 사용하여 SPREAD에서 2.32 ± 5.33 mm, DIR-Lab-4DCT에서 1.86 ± 2.12 mm의 목표 정합 오차를 달성합니다.
• 세 가지 아키텍처 비교는 다단, 패치 기반 디자인과 U-Net 스타일 네트워크를 효과적으로 결합하여 포착 범위와 정확성을 개선할 수 있음을 보여줍니다.
• 다단 네트워크가 평가된 데이터셋에서 단일 단계 대비 지속적으로 더 나은 성능을 보였습니다.
• 추론 시간은 우수하며, 보고된 설정에서 두 단계 RegNet은 피실험체당 약 2.2초 정도의 시간으로 처리합니다.
• 인공 DVF(S, M, R 범주)와 항등을 함께 학습한 경우 전통적인 B-spline elastix 정합에 비해 여러 경우에서 경쟁력 있는 TRE를 보여줍니다.