[논문 리뷰] An unsupervised deep learning framework for medical image denoising

Swati Rai, Jignesh S. Bhatt외 1명|arXiv (Cornell University)|2021. 03. 11.

Image and Signal Denoising Methods참고 문헌 48인용 수 8

한 줄 요약

이 논문은 2D 및 3D MRI/CT 영상의 노이즈 제거를 위해 패치 기반 사전 학습 기반의 K-SVD와 깊이 학습 잔여 네트워크를 결합한 비지도 학습 프레임워크를 제안한다. 이는 노이즈 특성에 대해 간접적으로와 직접적으로 학습한다. 이 방법은 정제된 학습 데이터가 필요 없이도 가장 높은 수준의 성능을 달성하여, 이미지의 가장자리와 시각적 품질을 유지하면서도 기존 방법보다 PSNR, SSIM 및 RMSE 측정치에서 우수한 성능을 보였다. 이는 합성 및 실재 데이터셋 모두에서 입증되었다.

ABSTRACT

Medical image acquisition is often intervented by unwanted noise that corrupts the information content. This paper introduces an unsupervised medical image denoising technique that learns noise characteristics from the available images and constructs denoised images. It comprises of two blocks of data processing, viz., patch-based dictionaries that indirectly learn the noise and residual learning (RL) that directly learns the noise. The model is generalized to account for both 2D and 3D images considering different medical imaging instruments. The images are considered one-by-one from the stack of MRI/CT images as well as the entire stack is considered, and decomposed into overlapping image/volume patches. These patches are given to the patch-based dictionary learning to learn noise characteristics via sparse representation while given to the RL part to directly learn the noise properties. K-singular value decomposition (K-SVD) algorithm for sparse representation is used for training patch-based dictionaries. On the other hand, residue in the patches is trained using the proposed deep residue network. Iterating on these two parts, an optimum noise characterization for each image/volume patch is captured and in turn it is subtracted from the available respective image/volume patch. The obtained denoised image/volume patches are finally assembled to a denoised image or 3D stack. We provide an analysis of the proposed approach with other approaches. Experiments on MRI/CT datasets are run on a GPU-based supercomputer and the comparative results show that the proposed algorithm preserves the critical information in the images as well as improves the visual quality of the images.

연구 동기 및 목표

• 의료 영상에서의 노이즈 오염 문제, 특히 MRI 및 CT 스캔에서의 진단 정확도 저하 문제를 해결하기 위해.
• 세밀한 이미지 세부 정보와 가장자리를 유지하면서도 시각적 품질을 향상시키는 노이즈 제거 방법을 개발하기 위해.
• 정제된 기준 영상이 필요 없는 비지도 접근법을 개발하여 지도 학습 방법의 한계를 극복하기 위해.
• 다양한 영상 모odalities에 걸쳐 2D 및 3D 의료 영상 처리에 일반화 가능한 프레임워크를 구축하기 위해.
• 각각 MRI와 CT 스캔에서 흔히 발생하는 라이시안 노이즈와 포isson 노이즈를 모두 처리하기 위해.

제안 방법

• 2D/3D MRI/CT 스캔에서 추출한 겹치는 영상 또는 부피 패치를 사전 학습 및 잔여 학습 구성 요소의 입력으로 사용한다.
• 패치 기반 사전은 K-특이값 분해(K-SVD)를 통해 학습되어 희소 표현과 간접적인 노이즈 특성 기반을 가능하게 한다.
• 깊이 잔여 네트워크는 패치에서 직접 노이즈 잔여치를 학습하고 예측함으로써 종단 간 노이즈 제거를 가능하게 한다.
• 두 구성 요소는 반복적으로 최적화된다: 학습된 사전과 깊이 잔여 네트워크를 사용해 패치에서 노이즈를 추정하고 제거한다.
• 겹치는 영역 평균화 전략을 사용한 패치 조립 기법을 통해 노이즈 제거된 패치를 전체 영상 또는 3D 볼륨으로 재구성한다.
• 이 방법은 정제된 쌍이 없는 입력 데이터만을 기반으로 하여 비지도 방식으로 학습된다.

실험 결과

연구 질문

• RQ1 정제된 학습 데이터가 필요 없이도 비지도 학습 프레임워크가 2D 및 3D MRI/CT 영상의 노이즈 제거에 효과적으로 작용할 수 있는가?
• RQ2 패치 기반 사전 학습과 깊이 잔여 학습의 조합이 기존 방법 대비 이미지의 가장자리와 구조적 세부 정보를 얼마나 잘 유지하는가?
• RQ3 제안된 방법이 노이즈를 얼마나 효과적으로 줄이고, 시각적 품질 및 PSNR, SSIM 등의 정량적 지표를 유지하거나 향상시키는가?
• RQ4 이 프레임워크는 MRI에서의 라이시안 노이즈와 CT에서의 포isson 노이즈 등 다양한 노이즈 유형에 대해 얼마나 잘 일반화되는가?
• RQ5 사전 학습과 잔여 학습 간의 반복 최적화가 노이즈 특성 기반 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 합성 및 실재 CT 데이터셋에서 모든 테스트 노이즈 수준에서 가장 높은 PSNR 및 SSIM 값을 기록하여 최신 기술을 초월했다.
• 제안된 방법의 RMSE는 비교된 모든 방법보다 일관되게 낮게 나타나, 노이즈 제거 정확도가 뛰어나다는 것을 시사한다.
• 합성 CT 데이터(Shepp-Logan)에 대한 시각적 결과에서는, CNN-RL, RED-CNN, BM3D 및 NLM 대비 제안된 방법이 이미지 경계를 더 잘 유지하고 노이즈를 더 효과적으로 감소시켰다.
• 실재 CT 데이터셋에서 제안된 방법은 TV, ADF 및 NLM과 비교해 더 선명한 가장자리를 유지하고 과도한 부드러움을 줄였다. 이는 가장자리 손실이나 과도한 평활화 문제를 야기하는 경향이 있었다.
• 3D 노이즈 제거 구현은 2D 처리 대비 기준값에 더 가까운 결과를 도출하여 부피 모델링의 장점을 입증했다.
• 정제된 기준 영상이 필요 없이도 이 프레임워크는 CT에서의 포isson 노이즈와 MRI에서의 라이시안 노이즈를 효과적으로 감소시켜 비지도 학습의 타당성을 입증했다.