[논문 리뷰] MR Image Denoising and Super-Resolution Using Regularized Reverse Diffusion

Hyungjin Chung, Eun Sun Lee외 1명|arXiv (Cornell University)|2022. 03. 23.

Medical Imaging Techniques and Applications인용 수 6

한 줄 요약

이 논문은 점근적 역확산 모델을 제안하여 자기공명영상(MR image)의 노이즈 제거 및 초해상도 분석을 수행하며, 점수 기반 생성 모델링을 활용하여 사후 샘플링, 불확실성 정량화 및 민감도 조절이 가능한 노이즈 제거를 가능하게 한다. 단지 coronal knee MRI 데이터로만 훈련된 모델이지만, 복잡한 노이즈를 지닌 생체 내 간 MRI에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 SNR 및 CNR에서 뛰어난 성능을 보이며, 저주파수 정규화를 통해 미세한 구조를 유지한다.

ABSTRACT

Patient scans from MRI often suffer from noise, which hampers the diagnostic capability of such images. As a method to mitigate such artifact, denoising is largely studied both within the medical imaging community and beyond the community as a general subject. However, recent deep neural network-based approaches mostly rely on the minimum mean squared error (MMSE) estimates, which tend to produce a blurred output. Moreover, such models suffer when deployed in real-world sitautions: out-of-distribution data, and complex noise distributions that deviate from the usual parametric noise models. In this work, we propose a new denoising method based on score-based reverse diffusion sampling, which overcomes all the aforementioned drawbacks. Our network, trained only with coronal knee scans, excels even on out-of-distribution in vivo liver MRI data, contaminated with complex mixture of noise. Even more, we propose a method to enhance the resolution of the denoised image with the same network. With extensive experiments, we show that our method establishes state-of-the-art performance, while having desirable properties which prior MMSE denoisers did not have: flexibly choosing the extent of denoising, and quantifying uncertainty.

연구 동기 및 목표

• 자기공명영상에서 MMSE 기반 딥러닝 노이즈 제거기의 한계를 해결하기 위해, 블러링된 출력 결과와 분포 이탈 또는 복잡한 노이즈 상황에서의 실패를 방지하고자 한다.
• 비정규 분포 노이즈를 지닌 생체 내 간 자기공명영상과 같은 분포 외 데이터에 대해 강건하게 일반화되는 노이즈 제거 방법을 개발하고자 한다.
• 정규화를 통해 노이즈 제거 강도에 대한 민감한 제어를 가능하게 하고, 미세한 해부학적 구조를 유지하고자 한다.
• 동일한 노이즈 제거 모델을 재학습 없이도 후행 초해상도 분석에 응용할 수 있도록 확장하고자 한다.
• 표준 MMSE 기반 방법에서 부족한 사후 샘플링을 통한 불확실성 정량화를 제공하고자 한다.

제안 방법

• 오픈소스 coronal knee MRI 데이터를 기반으로 한 점수 기반 확산 모델을 사용하여 노이즈 있는 이미지에서 정제된 이미지로의 역확산 과정을 학습한다.
• 순수한 노이즈가 아닌 노이즈 있는 이미지를 초기화 값으로 사용하여 역확산 과정을 가로채어 반복적인 노이즈 제거 단계를 통해 노이즈 제거를 수행한다.
• 스토케스틱 수축 이론 기반의 새로운 저주파수 정규화를 적용하여 구조적 정밀도를 유지하고 잡음 유도 잡음의 발생을 억제한다.
• 동일한 점수 함수를 사용하여 후행 초해상도 단계를 수행하여 정제된 이미지의 해상도를 향상시킨다.
• 사후 샘플링을 활용하여 다수의 재구성 이미지를 생성함으로써 불확실성 정량화 및 사후 평균 추정을 수행한다.
• 기존의 확산 기반 방법보다 성능을 향상시키기 위해 고도화된 점수 매칭 및 샘플링 기법(예: NCSNv2 기반)을 활용한다.

실험 결과

연구 질문

• RQ1 확산 기반 노이즈 제거 방법이 미리 훈련된 데이터와 다른 분포를 지닌 MRI 데이터, 예를 들어 생체 내 간 스캔 데이터에 대해 미세조정 없이 일반화 가능한가?
• RQ2 동일한 학습된 점수 함수를 사용하여 단일 모델이 노이즈 제거와 초해상도 분석을 동시에 수행할 수 있는가?
• RQ3 저주파수 정규화가 정규화되지 않은 역확산 대비 노이즈 제거된 자기공명영상에서 구조적 유지에 기여하는가?
• RQ4 확산 모델에서의 사후 샘플링이 자기공명영상 노이즈 제거에서 의미 있는 불확실성 추정을 제공하는가?
• RQ5 제안된 방법은 복잡한 노이즈 분포에서 최신 기술 수준의 MMSE 기반 및 자기지도 학습 기반 노이즈 제거기와 비교해 SNR 및 CNR 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 초해상도 기능을 포함할 경우 SNR 21.28 ± 8.35 및 CNR 16.08 ± 10.00을 달성하여 초해상도 없이 적용한 기준선(비율: SNR 22.53 ± 9.06, CNR 11.24 ± 7.32)보다 유의미하게 뛰어난 성능을 보였다.
• 도식 5에서 보듯이, 정규화 덕분에 미세한 구조, 예를 들어 혈관 경계선이 유지되며, 정규화가 없는 경우에 비해 구조 왜곡 및 잡음 생성을 방지한다.
• 복잡한 노이즈를 지닌 생체 내 간 자기공명영상에서, 훈련 데이터로만 무릎 스캔을 사용한 모델이 분포 이탈에 대해 강건하게 일반화됨을 입증하였다.
• 초해상도 기능 추가로 CNR가 4.84점 향상(11.24 → 16.08)되었으며, SNR는 약간 감소함에도 불구하고 전체적으로 영상 품질 향상에 기여하는 긍정적 영향을 보였다.
• RM-ANOVA 검정을 통해 비교 대상 중 유일하게 SNR 및 CNR 양쪽 모두에서 통계적으로 유의미한 향상을 달성하였다.
• 사후 샘플링을 통해 불확실성 정량화가 가능했으며, 다수의 샘플은 MMSE 기반 방법과 달리 일관되고 현실적인 재구성 결과를 보였다.