[논문 리뷰] Latent Diffusion Model for Medical Image Standardization and Enhancement

Md. Selim, Jie Zhang외 5명|arXiv (Cornell University)|2023. 10. 08.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 임의의 스캐너에 의존하는 분포를 일관되고 표준화된 형태로 변환하는 데에 학습하는 잠재 공간 기반의 확산 모델인 DiffusionCT를 제안한다. 복합적인 U-Net 기반 인코더-디코더를 잠재 공간에서 DDPM을 통해 농축된 복잡한 구조로 학습함으로써, 구조적 무결성을 유지하면서도 방해 요소를 줄이는 데 성공하여, GAN 기반 방법보다도 우수한 표준화 성능을 달성하였다.

ABSTRACT

Computed tomography (CT) serves as an effective tool for lung cancer screening, diagnosis, treatment, and prognosis, providing a rich source of features to quantify temporal and spatial tumor changes. Nonetheless, the diversity of CT scanners and customized acquisition protocols can introduce significant inconsistencies in texture features, even when assessing the same patient. This variability poses a fundamental challenge for subsequent research that relies on consistent image features. Existing CT image standardization models predominantly utilize GAN-based supervised or semi-supervised learning, but their performance remains limited. We present DiffusionCT, an innovative score-based DDPM model that operates in the latent space to transform disparate non-standard distributions into a standardized form. The architecture comprises a U-Net-based encoder-decoder, augmented by a DDPM model integrated at the bottleneck position. First, the encoder-decoder is trained independently, without embedding DDPM, to capture the latent representation of the input data. Second, the latent DDPM model is trained while keeping the encoder-decoder parameters fixed. Finally, the decoder uses the transformed latent representation to generate a standardized CT image, providing a more consistent basis for downstream analysis. Empirical tests on patient CT images indicate notable improvements in image standardization using DiffusionCT. Additionally, the model significantly reduces image noise in SPAD images, further validating the effectiveness of DiffusionCT for advanced imaging tasks.

연구 동기 및 목표

• 다양한 스캐너와 프로토콜에서 촬영된 CT 영상 간 일관되지 않은 방사형학적 특성의 문제를 해결하기 위해.
• 프로토콜 변경 없이도 기존 CT 영상을 표준화하는 후처리 프레임워크를 개발하기 위해.
• TR-LSCI와 같은 저신호 영상 모odalities에서 노이즈를 줄여 영상 품질을 향상시키기 위해.
• 특히 DDPM을 사용한 잠재 공간에서의 의료 영상 표준화 성능 평가를 위해.
• 다중 기관 및 다중 스캐너 연구에서 의료 영상 데이터를 통합하기 위한 강력하고 일반화 가능한 솔루션을 제공하기 위해.

제안 방법

• U-Net 기반의 인코더-디코더 네트워크를 독립적으로 사전 학습하여, DDPM 구성 요소 없이도 입력 CT 영상의 잠재 표현을 학습한다.
• 잠재 공간에서 농축 지점에 위치한 스코어 기반 DDPM을 학습하며, 인코더-디코더의 가중치는 동결한다.
• 최종 모델은 DDPM 기반 노이즈 제거 후 잠재 표현을 디코더를 통해 통과시켜 표준화된 영상을 생성한다.
• 잠재 공간에서 노이즈 제거 스코어 매칭 목적 함수를 사용하여, 예측된 노이즈와 진짜 노이즈 간의 차이를 최소화한다.
• 성능 평가를 위해 임상 CT 영상과 TR-LSCI 페르포트 영상 모두를 사용하였으며, SSIM, PSNR, CCC 등의 지표를 활용하였다.
• 특징 추출을 위해 ResNet-18 인코더를 사용하였으며, 향후 VGG 및 일반 U-Net 아키텍처도 고려할 예정이다.

실험 결과

연구 질문

• RQ1 잠재 공간 기반의 확산 모델이 다양한 스캐너와 촬영 프로토콜 간에 CT 영상을 효과적으로 표준화할 수 있는가?
• RQ2 의료 영상 표준화에서 DDPM 기반 접근 방식이 GAN 기반 방법보다 성능 면에서 어떻게 비교되는가?
• RQ3 잠재 공간에서 DDPM을 학습함으로써 구조적 세부 정보는 유지되면서도 특징 일관성이 향상되는가?
• RQ4 TR-LSCI와 같은 저신호 영상 모달리티에서 모델이 효과적으로 노이즈를 줄일 수 있는가?
• RQ5 모델이 방사형학적 특징 일치도에 미치는 영향은 무엇인가, 특히 GLCM와 같은 텍스처 특징에 대해 어떻게 되는가?

주요 결과

• DiffusionCT는 GLCM 특징에 대해 0.86의 일치성 상관계수(CCC)를 달성하여, GAN 기반 모델과 일반 DDPM보다 유의미하게 뛰어난 성능을 보였다.
• TR-LSCI 영상의 노이즈 제거 시 SSIM은 0.44에서 0.77로 향상되었고, PSNR는 12.50에서 23.75로 상승하여 실제 영상에 매우 가까운 결과를 도출하였다.
• 잠재 공간에서의 DDPM 접근 방식은 영상 공간에서의 DDPM 성능을 유사하게 유지하면서도 더 컴act하고 효율적인 구조를 확보하였다.
• 모델은 텍스처 특징의 스캐너 간 변동성을 효과적으로 줄여, 후속 방사형학적 분석의 신뢰성을 향상시켰다.
• 실증 결과는 모델이 표준화된 영상을 생성하면서도 해부학적 세부 정보를 유지함을 확인하였다.
• 모델은 프로토콜 표준화 없이도 다중 기관 의료 영상 연구에서 특징 통합을 가능하게 하여 강력한 잠재력을 보였다.