[논문 리뷰] Ultrasound Speckle Suppression and Denoising using MRI-derived Normalizing Flow Priors

Vincent van de Schaft, Ruud J. G. van Sloun|arXiv (Cornell University)|2021. 12. 24.

Ultrasound Imaging and Elastography인용 수 6

한 줄 요약

이 논문은 최대사후확률(MAP) 추정을 통해 MRI에서 유도된 정규화 흐름 사전정보를 사용하여 비지도 초음파 스펙클 억제 및 노이즈 제거 방법을 제안한다. 고품질의 MRI 패치에서 정규화 흐름을 훈련시켜 조직 반사도를 모델링함으로써, 쌍이 없는 청소된-노이즈가 섞인 데이터가 필요 없이 시뮬레이션된 초음파 영상과 실재 생체 내 초음파 영상 모두에서 효과적인 노이즈 제거를 가능하게 하였으며, 비모수적 평균(NLM) 및 최적화된 베이지안 비모수적 평균(OBNLM)보다 정량적 지표와 주관적 품질 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Ultrasonography offers an inexpensive, widely-accessible and compact medical imaging solution. However, compared to other imaging modalities such as CT and MRI, ultrasound images notoriously suffer from strong speckle noise, which originates from the random interference of sub-wavelength scattering. This deteriorates ultrasound image quality and makes interpretation challenging. We here propose a new unsupervised ultrasound speckle reduction and image denoising method based on maximum-a-posteriori estimation with deep generative priors that are learned from high-quality MRI images. To model the generative tissue reflectivity prior, we exploit normalizing flows, which in recent years have shown to be very powerful in modeling signal priors across a variety of applications. To facilitate generaliation, we factorize the prior and train our flow model on patches from the NYU fastMRI (fully-sampled) dataset. This prior is then used for inference in an iterative denoising scheme. We first validate the utility of our learned priors on noisy MRI data (no prior domain shift), and then turn to evaluating performance on both simulated and in-vivo ultrasound images from the PICMUS and CUBDL datasets. The results show that the method outperforms other (unsupervised) ultrasound denoising methods (NLM and OBNLM) both quantitatively and qualitatively.

연구 동기 및 목표

• 초음파 영상에서의 스펙클 노이즈 문제를 해결함으로써 영상 품질 저하 및 임상적 해석의 어려움을 완화하고자 한다.
• 쌍이 있는 청소된-노이즈가 섞인 초음파 데이터가 필요 없는 노이즈 제거 방법을 개발하여, 지도 학습 기반 딥 러닝 접근법의 한계를 극복하고자 한다.
• 고품질의 MRI 데이터를 초음파 영상 복원을 위한 해부학적 사전정보 소스로 활용하고자 한다.
• 요소화된 정규화 흐름을 통한 局부 조직 패치 통계 모델링을 통해 다양한 해부학적 구조에 대한 일반화 능력을 향상시키고자 한다.
• MRI에서 훈련된 깊이 있는 생성 모델을 기반으로 한 MAP 최적화를 통해 지도 학습 없이 사전 기반의 노이즈 제거를 실현하고자 한다.

제안 방법

• 뉴욕대학교(NYU)의 fastMRI 데이터셋에서 추출한 국소 이미지 패치를 대상으로 정규화 흐름 아키텍처를 훈련시켜 조직 반사도의 사전 분포를 모델링한다.
• 사전 정보는 고수준의 의미가 아닌 국소 구조 통계를 모델링하도록 요소화되어, 새로운 초음파 해부학에 대한 일반화 능력을 향상시킨다.
• 이론적 추론은 반복적인 MAP 최적화 기반으로 수행되며, 백색 노이즈를 가정한 가우시안 오차 모델을 통해 가능도를 모델링한다.
• 구조적 정보가 풍부한 패치는 전체 MRI 볼륨에서 패치 선택 전략을 사용해 자동으로 추출되어 사전 정보의 품질을 향상시킨다.
• 데이터 일치성과 학습된 생성 사전 정보 간의 균형을 유지하면서 반복 최적화를 수행하여 청소된 초음파 영상을 재구성한다.
• 이 방법은 시뮬레이션된 스펙클 노이즈가 포함된 초음파 데이터와 PICMUS 및 CUBDL 챌린지에서 확보한 실재 생체 내 데이터에 모두 적용된다.

실험 결과

연구 질문

• RQ1 쌍이 없는 훈련 데이터가 필요 없이 MRI에서 유도된 정규화 흐름 사전정보가 초음파 영상에서 스펙클 노이즈를 효과적으로 억제할 수 있는가?
• RQ2 MRI 기반 사전정보는 복잡한 구조(예: carotid artery 및 심장 조직)를 포함한 다양한 생체 내 초음파 해부학에 얼마나 잘 일반화되는가?
• RQ3 정량적 지표와 주관적 품질 측면에서 전통적인 비지도 노이즈 제거 알고리즘인 NLM 및 OBNLM보다 제안된 방법이 뛰어난가?
• RQ4 요소화된 패치 기반 정규화 흐름 아키텍처는 전역 이미지 사전정보에 비해 일반화 능력을 얼마나 향상시키는가?
• RQ5 특히 저대비 영역에서 노이즈 억제를 하면서도 해부학적 구조와 에지의 날카움을 유지할 수 있는가?

주요 결과

• 시뮬레이션된 초음파 영상에서 다양한 노이즈 수준에 대해 제안된 방법은 비모수적 평균(NLM) 및 최적화된 베이지안 비모수적 평균(OBNLM)보다 PSNR 및 SSIM 측정치에서 모두 뛰어난 성능을 보였다.
• PICMUS 및 CUBDL 데이터셋의 생체 내 초음파 영상에서, NLM 및 OBNLM보다 더 자연스러운 영상 품질을 제공하며 패치성 노이즈를 줄이고 세부 구조를 더 잘 유지하였다.
• 저강도 영역(예: 낭종)의 기하학적 충실도를 잘 유지하였으며, MRI 데이터베이스에 완벽한 원형 형태가 존재하지 않더라도 정확한 형태를 보존하였다.
• 정성적 결과에서는 NLM에서 흔히 발생하는 '포스터라이제이션' 효과를 피하고 OBNLM보다 더 효과적으로 노이즈를 억제하면서도 구조적 현실성을 유지하였다.
• MRI에서 유도된 사전정보는 다양한 해부학적 영역으로 잘 일반화되었으며, CUBDL 데이터셋의 심장 영상에서도 성공적으로 노이즈 제거가 이루어졌다.
• 초음파 데이터로 훈련되지 않았음에도 불구하고 뛀아난 성능을 기록하여 MRI 기반 사전정보가 초음파 복원에 매우 효과적임을 입증하였다.