[논문 리뷰] Model-based Deep Medical Imaging: the roadmap of generalizing iterative reconstruction model using deep learning

Jing Cheng, Haifeng Wang외 11명|arXiv (Cornell University)|2019. 06. 19.

Medical Imaging Techniques and Applications참고 문헌 35인용 수 7

한 줄 요약

이 논문은 모델 기반 반복 재구성 알고리즘을 딥 뉴럴 네트워크로 전개하여 MRI의 속도를 향상시키고 CT/PET의 방사선 선량을 감소시키는 일반적인 프레임워크를 제안한다. 물리적 영상 모델과 딥 러닝을 통합함으로써, 종합적인 훈련과 알고리즘 전개를 통해 다양한 의료 영상 작업에서 최신 기술 수준의 성능을 달성하며, 뛰어난 영상 품질과 재구성 속도를 확보한다.

ABSTRACT

Medical imaging is playing a more and more important role in clinics. However, there are several issues in different imaging modalities such as slow imaging speed in MRI, radiation injury in CT and PET. Therefore, accelerating MRI, reducing radiation dose in CT and PET have been ongoing research topics since their invention. Usually, acquiring less data is a direct but important strategy to address these issues. However, less acquisition usually results in aliasing artifacts in reconstructions. Recently, deep learning (DL) has been introduced in medical image reconstruction and shown potential on significantly speeding up MR reconstruction and reducing radiation dose. In this paper, we propose a general framework on combining the reconstruction model with deep learning to maximize the potential of deep learning and model-based reconstruction, and give the examples to demonstrate the performance and requirements of unrolling different algorithms using deep learning.

연구 동기 및 목표

• 데이터 수집 속도를 높여 MRI의 느린 영상 촬영 문제를 해결하고, CT/PET에서의 방사선 선량 문제를 완화한다.
• 의료 영상 모odalities에서 과도한 샘플링으로 인한 앨리어징 아티팩트를 줄인다.
• 다양한 영상 촬영 프로토콜에 걸쳐 모델 기반 반복 재구성 기법을 일반화할 수 있는 통합된 딥 러닝 프레임워크를 개발한다.
• 반복 알고리즘을 딥 네트워크로 전개하는 것이 재구성 성능에 어떻게 기여하는지 탐색한다.
• 임상 적용에서 딥 러닝을 물리 기반 영상 모델과 통합하기 위한 길잡이를 제공한다.

제안 방법

• 프레임워크는 반복 재구성 알고리즘을 고정된 층 수로 전개하여 딥 뉴럴 네트워크 아키텍처로 변환한다.
• 네트워크의 각 층은 반복 재구성 과정의 단계에 해당하며, 데이터 일致성과 사전 지식을 통합한다.
• 재구성 과정 중에 이미지 추정치를 적응적으로 개선하기 위해 가속 가능한 프록시 옵저버의 파rameterization을 사용한다.
• 예측된 이미지와 진짜 이미지 간의 차이를 최소화하는 supervised 손실 함수를 사용하여 종합적으로 훈련한다.
• 이 방법은 MRI, CT, PET에 적용되어 다양한 영상 모달리티와 과도한 샘플링 패턴에서의 일반화 능력을 입증한다.
• 해당 프레임워크는 물리적 제약 조건을 유지하면서 딥 러닝의 능력을 활용하는 해석 가능하고 미분 가능한 재구성 방식을 허용한다.

실험 결과

연구 질문

• RQ1 딥 러닝은 어떻게 체계적으로 모델 기반 반복 재구성과 통합되어 영상 품질을 향상시킬 수 있는가?
• RQ2 과도한 샘플링이 있는 MRI와 저선량 CT/PET에서 반복 알고리즘을 딥 네트워크로 전개함으로써 얻는 성능 향상은 무엇인가?
• RQ3 제안된 프레임워크는 다양한 영상 모달리티와 촬영 프로토콜 간에 어떻게 일반화되는가?
• RQ4 효과적인 반복 알고리즘의 전개를 가능하게 하는 핵심 아키텍처 및 훈련 구성 요소는 무엇인가?
• RQ5 전개된 네트워크는 물리적 타당성과 해석 가능성도 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 전개된 네트워크는 전통적인 반복 방법과 표준 딥 러닝 접근법에 비해 영상 품질에서 뚜렷한 향상을 보였다.
• 기존의 반복 솔버에 비해 재구성 시간을 수개의 주기로 단축시켜 실시간 영상 촬영을 가능하게 하였다.
• 다양한 수준의 과도한 샘플링과 노이즈에 대해 강건성을 확보하였으며, 높은 구조적 유사도와 낮은 오차 지표를 유지하였다.
• 전개된 아키텍처는 MRI에서 카르테시안 및 비카르테시안 k-space 샘플링을 포함한 다양한 촬영 프로토콜에서 잘 일반화되었다.
• MRI 및 저선량 CT의 벤치마크 데이터셋에서 기존 최신 기술 수준의 방법들과 경쟁하거나 슈퍼어리어한 성능을 달성하였다.
• 아블레이션 연구를 통해 물리 모델과 학습된 구성 요소의 통합이 더 나은 일반화와 안정성 향상에 기여한다는 것이 확인되었다.