[논문 리뷰] Neural Networks-based Regularization of Large-Scale Inverse Problems in Medical Imaging.

Andreas Kofler, Markus Haltmeier외 5명|arXiv (Cornell University)|2019. 12. 19.

Medical Imaging Techniques and Applications인용 수 1

한 줄 요약

이 논문은 대규모 의료 영상 재구성에 대한 패치 기반 딥 러닝 정규화 방법을 제안하며, 사전 훈련된 신경망을 티코노프 사전으로 사용하여 데이터 일致성과 사전 기반 정규화를 분리한다. 이 방법은 계산을 수배수로 가속화하고, 3D 저선량 CT와 2D 레디얼 시네 MRI에서 PSNR, NRMSE, SSIM 측면에서 최신 기술을 초월한다.

ABSTRACT

In this paper we present a generalized Deep Learning-based approach for solving ill-posed large-scale inverse problems occuring in medical image reconstruction. Recently, Deep Learning methods using iterative neural networks and cascaded neural networks have been reported to achieve state-of-the-art results with respect to various quantitative quality measures as PSNR, NRMSE and SSIM across different imaging modalities. However, the fact that these approaches employ the forward and adjoint operators repeatedly in the network architecture requires the network to process the whole images or volumes at once, which for some applications is computationally infeasible. In this work, we follow a different reconstruction strategy by decoupling the regularization of the solution from ensuring consistency with the measured data. The regularization is given in the form of an image prior obtained by the output of a previously trained neural network which is used in a Tikhonov regularization framework. By doing so, more complex and sophisticated network architectures can be used for the removal of the artefacts or noise than it is usually the case in iterative networks. Due to the large scale of the considered problems and the resulting computational complexity of the employed networks, the priors are obtained by processing the images or volumes as patches or slices. We evaluated the method for the cases of 3D cone-beam low dose CT and undersampled 2D radial cine MRI and compared it to a total variation-minimization-based reconstruction algorithm as well as to a method with regularization based on learned overcomplete dictionaries. The proposed method outperformed all the reported methods with respect to all chosen quantitative measures and further accelerates the regularization step in the reconstruction by several orders of magnitude.

연구 동기 및 목표

• 고메모리 및 고처리 요구 사항으로 인해 전체 3D 의료 영상 또는 볼륨을 반복적 딥 러닝 네트워크에서 처리하는 데 계산적으로 비현실적인 문제를 해결한다.
• 정규화 단계를 데이터 일치 강제와 분리하여, 고용량 복잡한 신경망을 사용해 사전 학습을 가능하게 한다.
• 이미지를 패치 또는 슬라이스 단위로 처리하여 대규모 의료 영상 데이터의 효율적이고 확장 가능한 재구성을 가능하게 한다.
• 티코노프 프레임워크 내에서 학습된 사전을 사용해 저선량 CT 및 과도하게 샘플링된 MRI와 같은 불안정한 역문제에서 영상 품질을 향상시킨다.
• 전체 제약 조건 및 사전 기반 정규화 방법에 비해 뛰어난 정량적 성능을 달성한다.

제안 방법

• 사전 훈련된 딥 뉴럴 네트워크를 사용해 사전 영상을 생성하고, 이를 티코노프 정규화 프레임워크에 통합함으로써 정규화를 데이터 일치에서 분리한다.
• 딥 네트워크의 출력에서의 편차를 벌어지지 않게 하는 티코노프 유형의 정규화 항을 적용하여 현실적인 영상 솔루션을 촉진한다.
• 계산 부담을 줄이기 위해 큰 영상 또는 볼륨을 패치 또는 슬라이스 단위로 처리하여, 복잡한 아키텍처를 대규모 문제에 적용할 수 있도록 한다.
• 표준 반복 네트워크나 총 제약 조건보다 더 효과적으로 노이즈와 아티팩트를 억제하기 위해 학습된 사전을 사용한다.
• 최종 솔루션이 데이터 일치와 사전 기반 정규화의 균형을 이루는 변분 재구성 프레임워크에 사전을 통합한다.
• 일반화성과 안정성을 확보하기 위해 재구성 파이프라인에 통합되기 전에 대규모 데이터셋에서 사전 네트워크를 독립적으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 뉴럴 네트워크가 대규모 의료 영상 재구성에 있어 효과적이고 확장 가능한 사전으로서 티코노프 정규화에서 기능할 수 있는가?
• RQ2 정규화 학습을 데이터 일치 강제에서 분리함으로써 3D 및 대규모 2D 의료 영상 문제의 계산 가능성은 향상되는가?
• RQ3 이미지 또는 볼륨의 패치 기반 처리 전략이 과도한 계산 비용 없이도 복잡한 신경망의 사용을 가능하게 하는가?
• RQ4 제안된 방법은 PSNR, NRMSE, SSIM 측면에서 총 제약 조건 및 학습된 사전 기반 정규화 방법에 비해 정량적으로 어떻게 비교되는가?
• RQ5 종단 간 반복적 딥 러닝 방법에 비해 정규화 단계의 가속도는 어느 정도 향상되는가?

주요 결과

• 제안된 방법은 3D 콘빔 저선량 CT에서 총 제약 조건 최소화 및 학습된 사전 기반 정규화 방법을 모두 초월하는 모든 정량적 지표에서 뛰어난 성능을 보였다.
• 2D 레디얼 시네 MRI 재구성에서 기준 방법에 비해 PSNR, NRMSE, SSIM 측면에서 향상된 결과를 달성했다.
• 사전 훈련된 딥 네트워크를 사전으로 사용함으로써 표준 반복 네트워크보다 더 효과적으로 노이즈와 아티팩트를 억제할 수 있었다.
• 패치 기반 처리 전략은 계산 복잡도를 감소시켜, 일반적으로 반복 아키텍처에서 가능하지 않은 깊고 더 복잡한 네트워크의 사용을 가능하게 하였다.
• 종단 간 반복적 딥 러닝 방법에 비해 정규화 단계가 수배수로 가속화되었다.
• 저선량 CT 및 과도하게 샘플링된 MRI를 포함한 다양한 영상 모odal리티에 걸쳐 강력한 일반화 성능을 보였다.