[논문 리뷰] Tackling the Problem of Large Deformations in Deep Learning Based Medical Image Registration Using Displacement Embeddings

Lasse Hansen, Mattias P. Heinrich‬|arXiv (Cornell University)|2020. 05. 27.

Medical Imaging Techniques and Applications인용 수 5

한 줄 요약

이 논문은 대규모 변형을 다루기 위해 밀도 높은 이동장(dense displacement fields)을 저차원 임bedding 공간으로 매핑하는 새로운 딥러닝 프레임워크를 제안한다. 이는 U-Net 기반 방법보다 정확도를 향상시킨다. 희소 키포인트 특징과 학습된 임베딩을 사용함으로써, 숨쉬기에서 숨을 멈출 때까지의 CT 폐 영상 정렬에서 2 mm 이하의 목표 정렬 오차를 달성하며, 최신의 학습 기반 접근법을 능가한다.

ABSTRACT

Though, deep learning based medical image registration is currently starting to show promising advances, often, it still fells behind conventional frameworks in terms of registration accuracy. This is especially true for applications where large deformations exist, such as registration of interpatient abdominal MRI or inhale-to-exhale CT lung registration. Most current works use U-Net-like architectures to predict dense displacement fields from the input images in different supervised and unsupervised settings. We believe that the U-Net architecture itself to some level limits the ability to predict large deformations (even when using multilevel strategies) and therefore propose a novel approach, where the input images are mapped into a displacement space and final registrations are reconstructed from this embedding. Experiments on inhale-to-exhale CT lung registration demonstrate the ability of our architecture to predict large deformations in a single forward path through our network (leading to errors below 2 mm).

연구 동기 및 목표

• U-Net 기반 아키텍처가 의료 영상 정렬에서 대규모 변형을 다루는 데에 한계가 있음을 해결하기 위해.
• 환자 간 복부 MRI 및 숨쉬기에서 숨을 멈출 때까지의 CT 폐 정렬과 같은 도전적인 케이스의 정렬 정확도를 향상시키기 위해.
• 고해상도 특징 맵을 저차원 임베딩으로 압축함으로써 이동장 학습의 계산 부담을 줄이기 위해.
• 직접 밀도 높은 이동장 예측보다는 키포인트와 임베딩을 통한 이동장 관계의 명시적 모델링이 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 고정 이미지와 이동 이미지에서 MIND 유사 특징을 추출하기 위해 경량 U-Net을 사용한다.
• 고정 이미지 특징은 Foerstner 관심점 연산자를 사용하여 약 1500개의 키포인트에서 희소하게 샘플링되어 검색 공간이 축소된다.
• 고정 특징 패치와 해당 위치에서 이동된 이미지의 패치를 비교함으로써 이동장을 구성한다.
• 이동장은 주성분 분석(PCA)을 사용하여 저차원 임베딩 공간으로 압축되며, 이는 차원 수를 약 98% 또는 95% 감소시킨다.
• 공간 일관성을 강제하기 위해 키포인트 그래프 위에서 그래프 라플라시안 확산을 통해 정규화를 적용한다.
• 최종 이동장은 임베딩 공간에서 재구성되며, 이는 엔드 투 엔드 학습 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 밀도 높은 이동장 예측에 비해 이미지 특징 간 이동장 관계를 명시적으로 모델링하면 대규모 변형에 대해 정확도가 향상되는가?
• RQ2 학습된 또는 PCA 기반 임베딩 공간에 이동장을 압축하면 계산 비용은 감소시키면서도 정확도는 유지할 수 있는가?
• RQ3 희소 특징 매칭을 사용하는 키포인트 기반 접근법이 도전적인 폐 CT 정렬 작업에서 다중 수준 U-Net 아키텍처를 능가할 수 있는가?
• RQ4 대규모 변형을 포함한 벤치마크 데이터셋에서 제안된 방법은 최신의 학습 기반 정렬 프레임워크와 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 DIR-Lab 4D-CT 데이터셋에서 평균 목표 정렬 오차(TRE) 1.97 mm (±1.42)를 달성하여, 비교한 모든 학습 기반 방법보다 뛰어났다.
• DIR-Lab COPD 데이터셋에서 평균 TRE는 3.42 mm (±5.63)였으며, 비교한 모든 방법 중에서 가장 낮았다.
• 4D-CT 데이터셋에서 2 mm 이하의 정렬 오차를 달성하여, 대규모 변형 작업에서 뛰어난 성능을 입증했다.
• 512차원 PCA 임베딩을 사용하면 이동장 공간이 약 95% 감소하여 계산 비용을 크게 낮추면서도 높은 정확도를 유지했다.
• VoxelMorph 및 mlVIRNET과 같은 고도로 발전된 U-Net 기반 모델들조차도 동일한 벤치마크에서 더 높은 오차를 보였지만, 본 방법은 그들을 능가했다.
• 키포인트와 임베딩을 통한 이동장 관계의 명시적 모델링은 직접 밀도 높은 필드 예측 방식에 비해 유망한 대안임을 시사한다.