[논문 리뷰] Rethinking Medical Image Reconstruction via Shape Prior, Going Deeper and Faster: Deep Joint Indirect Registration and Reconstruction

Jiulong Liu, Angelica I. Avilés-Rivero외 2명|arXiv (Cornell University)|2019. 12. 16.

Advanced MRI Techniques and Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 깊이 학습된 디퍼모픽 등록과 물리 기반의 역문제 풀이를 통해 과도하게 샘플링된, 노이즈가 있는 의료 영상 데이터로부터 간접적인 영상 정렬 및 재구성 작업을 동시에 수행하는 새로운 딥 조인트 프레임워크를 제안한다. 딥 리텐셔널 블록과 고정점 최적화를 사용하여 재구성과 정렬을 하나의 미분 가능한 모델 안에서 융합함으로써, MRI, 희박시각 CT, 저선량 CT에서 이전 방법들보다 66% 이상 빠른 계산 속도를 기록하면서도 최신 기술 수준의 영상 품질을 달성한다.

ABSTRACT

Indirect image registration is a promising technique to improve image reconstruction quality by providing a shape prior for the reconstruction task. In this paper, we propose a novel hybrid method that seeks to reconstruct high quality images from few measurements whilst requiring low computational cost. With this purpose, our framework intertwines indirect registration and reconstruction tasks is a single functional. It is based on two major novelties. Firstly, we introduce a model based on deep nets to solve the indirect registration problem, in which the inversion and registration mappings are recurrently connected through a fixed-point interaction based sparse optimisation. Secondly, we introduce specific inversion blocks, that use the explicit physical forward operator, to map the acquired measurements to the image reconstruction. We also introduce registration blocks based deep nets to predict the registration parameters and warp transformation accurately and efficiently. We demonstrate, through extensive numerical and visual experiments, that our framework outperforms significantly classic reconstruction schemes and other bi-task method; this in terms of both image quality and computational time. Finally, we show generalisation capabilities of our approach by demonstrating their performance on fast Magnetic Resonance Imaging (MRI), sparse view computed tomography (CT) and low dose CT with measurements much below the Nyquist limit.

연구 동기 및 목표

• 장시간 촬영이 필요한 MRI에서 고도로 과도하게 샘플링된 측정치로부터 고품질 의료 영상을 재구성하는 과제를 해결한다.
• 재구성 및 정렬 파이프라인을 별도로 운영할 경우 발생하는 오차 전파 문제를 해결하고 일반화 능력을 향상시키기 위해 두 작업을 동시에 최적화함으로써 기존 방법의 한계를 극복한다.
• 딥 러닝을 통한 정렬 및 재구성 기술을 활용하면서도 물리적 전진 모델을 존중함으로써 고성능의 영상 품질을 유지하면서도 계산 효율성을 확보하는 방법을 개발한다.
• 뉴이스트 한계 이하의 측정치를 가진 다양한 영상 모ality, 즉 빠른 MRI, 희박시각 CT, 저선량 CT에서의 일반화 능력을 입증한다.
• 모델 기반 정규화(LDDMM)와 딥 러닝을 융합한 하이브리드 모델을 도입하여 재구성 정확도와 속도를 향상시킨다.

제안 방법

• 두 작업 간 공유 매개변수를 가진 단일 기능을 사용하여 간접 영상 정렬 및 영상 재구성을 동시에 해결하는 공동 최적화 문제를 수립한다.
• 원시 측정치를 영상 추정치로 매핑하는 데 물리적 전진 연산자(예: 푸리에 변환, 라돈 변환)를 명시적으로 통합한 전용 역전송 블록을 갖춘 딥 리텐셔널 네트워크를 설계한다.
• 딥 네트워크 기반의 정렬 블록을 구현하여 변형 매개변수와 워핑 필드를 정확하고 효율적으로 예측함으로써 엔드 투 엔드의 미분 가능성을 확보한다.
• 희소 최적화 기반의 고정점 반복적 기법을 사용하여 재구성 및 정렬 맵핑을 순환 연결을 통해 결합함으로써 안정적이고 미분 가능한 최적화를 보장한다.
• 데이터 일致성, LDDMM에 의한 정규화, 재구성 정밀도를 모두 포함하는 미분 가능한 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 정렬된 템플릿 영상에서 유도된 형상 사전를 재구성 과정에 통합하여 해부학적 정확도를 향상시키고 잡음과 아티팩트를 감소시킨다.

실험 결과

연구 질문

• RQ1 재구성과 함께 최적화되는 간접 영상 정렬이 과도하게 샘플링된 의료 영상에서 영상 품질을 크게 향상시킬 수 있는가?
• RQ2 딥 러닝을 모델 기반 정렬(LDDMM)과 효과적으로 융합하여 고정밀 재구성과 낮은 계산 비용을 동시에 달성할 수 있는가?
• RQ3 재구성 및 정렬 파이프라인을 별도로 운영하는 것보다 통합된 딥 러닝 프레임워크가 영상 품질과 추론 속도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 제안된 방법이 다양한 영상 모달리티(MRI, CT)와 샘플링 패턴(Cartesian, radial)에 대해 얼마나 잘 일반화되는가?
• RQ5 딥 네트워크 내부에 물리적 전진 모델을 통합함으로써 저신호 영역에서의 재구성 안정성과 잡음 감소 효과를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 MRI 및 CT 데이터셋에서 비교된 모든 방법들 중에서 가장 높은 PSNR 및 SSIM 점수를 기록하였으며, 고전적 TV + LDDMM 및 기존 최신 기술 대비 뚜렷한 PSNR 향상을 보였다.
• 모든 데이터셋과 샘플링 패턴에서 재구성 오차가 일관되게 가장 낮게 유지되어 미세한 세부사항, 윤곽선, 질감의 보존 능력이 뛰어나다는 것을 시사한다.
• 고전적 TV + LDDMM 기법과 Chen 등[39]의 접근 방식 대비 계산 시간을 66% 이상 단축시켰으며, 영상 품질을 유지하거나 향상시켰다.
• 시각적 결과는 제안된 재구성 결과가 해부학적 구조를 잘 유지하고 블러링과 대trast 손실을 피하는 반면, 기준 방법들은 강한 아티팩트를 유발한다는 것을 보여준다.
• 그림 8에 나타난 예측된 운동량 필드는 정확히 진위값과 일치함을 확인하여 딥 정렬 블록이 복잡한 변형을 효과적으로 포착하고 있음을 입증한다.
• 빠른 MRI, 희박시각 CT, 저선량 CT 등 다양한 모달리티에서의 일반화 능력이 검증되었으며, 저샘플링 비율과 다양한 촬영 패턴에 대해 뛰어난 강건성을 보였다.